I 1771 lod kong Frederik den 5. opføre en kaserne på en del af de endnu ikke bebyggede grunde ved Sølvgade i kvarteret Ny-København.
Her blev soldaterne fra Danske og Norske Livregiment indkvarteret. I datiden var der ikke så almindeligt, at soldater boede på kaserner, for de blev ofte indkvarteret i private hjem.
Kasernebygningen blev tegnet af hoffets arkitekt Nicolas Henri Jardin (1729-1799).
Fra 1775 til 1785 var her et sygehus, der aflastede Almindelig Hospital.
Komplekset består af to bygninger, som hver er formet som et F.
Det siges at være en hyldest til kong Frederik den 5., som var regent da kasernen blev opført.
I 1926 blev kasernen overtaget af Danske Statsbaner som administrationsbygning. Det var i kong Christian den 10.’ regeringstid, og derfor er hans monogram over porten.
Relieffet over porten er udført af billedhuggeren J. F. J. Saly og indeholder kong Christian den 7.’s monogram, som symbol på at byggeriet blev færdigt, mens han var konge.