Kasernens bygning blev opført i begyndelsen af 1700-tallet som orangeri i forbindelse med Rosenborg Slot. Det leverede sammen med køkkenhaven i Kongens Have, frugt og grøntsager til hoffets husholdning.
Den midterste del af orangeriet var et lysthus, som kong Christian den 5. havde opført i haven i 1670. Huset kaldtes for “lysthuset med de fire gyldne knapper.” I to sidebygninger lå orangeriet.
Midterbygningen blev bl.a. brugt til kongelige tafler.
Senere ændredes bygningen efter tegninger af Laurits de Thurah og med en facade i barokstil, tegnet at J.C. Krieger i 1742.
I 1787 blev en del af haven inddraget til ekcerserplads og fra 1786 overgik bygningen til at være kaserne for Den Kongelige Livgarde til Fods.
Langs med Gothersgade lå en lang bygning, der blev brugt som eksercerhus. Om vinteren blev det 136 meter lange hus åbnet for publikum, som i skæret af gaslygter kunne promenere indendørs, når det var for koldt til at gå tur i Kongens Have.
I dag bruges kasernen stadig af Livgardens vagtkompagni og rummer desuden Livgardens Historiske Samling.
