I 1861 blev Københavns Universitets astronomiske observatorium flyttet hertil fra Rundetårn, hvor man i stigende grad var forstyrret af byens støv og lys.
Den nye observatoriebygning blev bygget på Rosenborg Bastion på Østervold, ”i et roligt kvarter af Byen og ikke belemret med Huse”, som det hed i en artikel fra 1861.
Bygningen er tegnet af arkitekten Christian Hansen (1803-883) og er et trefløjet anlæg med en kuppel i midten til observationskikkerten.
Oprindeligt blev den store kikkert drejet med håndsving, men fra 1895 blev kikkerten udskiftet med en ny og forsynet med elektrisk motor.
Kikkertbygningens fundament er ført helt ned gennem volden, for at undgå rystelser. Ved anlægget af Boulevardbanen i 1917 kom den til at ligge nedenunder observatoriet – som så blev plaget af rystelser fra togene. Derfor flyttedes observatoriet i 1953 til Brorfelde ved Holbæk.
I sidefløjene var der boliger til direktøren, observatøren og assistenterne.
Foran observatoriet blev der i 1876 opstillet en statue af Tycho Brahe. Den er udført af billedhuggeren H. V. Bissen.
Under vinduerne i hovedbygningen, er dekorationer der viser grundplanen på Tycho Brahes observatorium på Hven.
I dag bruges observatoriet af Københavns Universitet.