Københavns Universitet havde et bibliotek helt tilbage fra sin grundlæggelse. Det blev opbevaret forskellige steder, bl.a. i Trinitatis Kirke og i Helligåndshuset.
I 1861 stod en ny bygning færdig, som skulle rumme universitetets bibliotek.
Den blev tegnet af arkitekten Johan Daniel Herholdt (1818-1902) i nyrenæissance-stil, men bygningen har også indvendigt motiver fra den nordiske middelalder.
Flere større bogsamlinger er i tidens løb indgået i biblioteket, f.eks. den omfattende classenske bogsamling. På grund af pladsmangel, flyttede den naturvidenskabelige litteratur i 1930’erne til nye bygninger på Nørre Allé.
Biblioteksbygningen føjer sig til universitetskomplekset på Frue Plads, der også omfatter det tidligere Zoologiske Museum i Krystalgade.