Bygningen ud mod Rigsdagsgården er opført omkring 1670 som kunstkammer og bibliotek. Den rummede dog også et magasin for artilleriet, og kaldtes derfor Ars, Lex og Mars (Kunst, Bøger, Krig).
Kunstkammeret var en slags rarietetskabinet, og der var herfra guldhornene blev stjålet i 1802.
Genstandene fra Kunstkammeret indgik i Nationalmuseet, da det blev oprettet i 1820’erne.
Kunstkammerbygningen forbandt Tøjhuset og Proviantgården, som var en del af Søarenalet, dvs. den flådehavn, som lå hvor Bibliotekshaven er i dag. Det var kongens bygmester, Albertus Mathiesen, der tegnede bygningen.
Mellem kunstkammerbygningen og Kancellibygningen blev der i begyndelsen af 1700-tallet plads til Gehejmearkivet, der praktisk var forbundet med selve Københavns Slot med en løngang, så dokumenter kunne bringes frem og tilbage. Tidligere havde man opbevaret arkivalierne i kælderen under slottet.
Men gangen kunne også bruges af kongen, når han f.eks. fik lyst til at studere sine samlinger i kunstkammeret, eller som forbindelse til Lerches Palæ i Slotsholmsgade, hvor kong Frederik den 4. efter sigende havde installeret sin elskerinde Anna Sophie Rewentlow.
Forbindelsesbygningen blev tegnet af Johan Conrad Ernst, som også var Kancellibygningens arkitekt.
Med tiden blev bygningen fortrinsvis brugt til at rumme kongens bibliotek. Billedet herover viser den bibliotekets store sal – den såkaldte Harsdorffsal.
Da en ny bygning til Det Kongelige Bibliotek blev opført på Slotsholmen i 1906, blev den kongelige bogsamling flyttet dertil, og huset indrettet til Rigsarkiv.
I 2009 opførtes et moderne magasin for Rigsarkivet ved Kristian Erslevs Gade.