Biblioteket blev grundlagt af kong Frederik den 3. omkring 1665. Kongen elskede bøger og havde en samling på 20.000 bind. Det fik til huse i kunstkammerbygningen, hvor også Rigsarkivet ligger.
I stueetagen i biblioteks- og arkivbygningen var der oplagret kanoner, men da de blev flyttet i 1860’erne, og biblioteket fik pladsen tilbudt, fremsatte overbibliotekaren i stedet ønsket om en helt ny bygning til at huse den nationale bogsamling.
Da man på dette tidspunkt var i færd med at sløjfe Flådens udrustningshavn Søarsenalet bagved, og Staten i forvejen ejede grunden her, blev løsningen at opføre en ny biblioteksbygning ud mod Christiansgade (som Christians Brygge hed dengang).
Biblioteksbygningen stod færdig i 1906 og blev tegnet af arkitekten Hans J. Holm (1835-1916).
De mere end 1 million bøger i det gamle bibliotek, blev flyttet ved hjælp af et elektrisk tog, der kørte på en bro mellem den gamle og den nye bygning.
I det nordøstlige hjørne blev de gamle hvælvinger bevaret. Her er i dag Dansk Jødisk Museum.
Mellem biblioteksbygningen, Proviantgården og Tøjhuset ligger Bibliotekshaven som tidligere var udrustningshavn for Flåden.
Anlægget er beskrevet nærmere i artiklen om Søarsenalet.
I 1968 blev der mod havnen tilføjet en tilbygning og i 1999 kom ”Den sorte diamant” til som endnu en tilbygning. Den er tegnet af arkitekter fra firmaet Schmidt, Hammer og Lassen.
Den nye biblioteksbygning ligger ud til Søren Kierkegaards Plads.
Her står en kopi af Anne Marie Carl-Nielsens (1863-1945) statue “Havfrue” fra 1921 (herunder).
