Frederik den 3., som igangsatte anlægget af Kongens Nytorv, nordøst for Københavns gamle bydel, forærede én af grundene ved torvet til sin uægte søn, Ulrik Frederik Gyldenløve.
Her lod han i årene 1672-1677 opføre et lille slot, som fik navnet Gyldenløves Palæ. Arkitekten var formentlig hollænderen Ewert Janssen. Det firefløjede palæ er betegnet som et skoleeksempel for barokstilen.
Beliggenheden var nøje tænkt ind i planerne om de nye bydele Frederiksstaden og Ny-København nord for den gamle by, hvor man gerne ville lade de rette linjer dominere. Så Charlottenborg kom til at ligge parallelt med Bredgade og vinkelret på Nyhavn.
Oprindeligt bestod komplekset af tre fløje og en fjerde mod øst kom til i 1680’ene efter tegninger af generalbygmester Lambert von Haven. Det fortælles, at der til opførelsen blev brug mursten fra den nedrevne Kalø Slot i Jylland, som Ulrik Gyldenløve ejede.
Mod øst blev anlagt en have med bl.a. lysthuse, grotter og springvand. I dette område lå senere Botanisk Have, indtil i 1880’erne flyttede til dens nuværende plads.
Palæet blev en slags konkurrent til Københavns Slot, og her mødtes medlemmer af kongehusets sidelinjer, hvor de holdt fester med et lidt mere uformelt præg, end man kunne på slottet.
Det var også en slags norsk regeringsbygning, for Gyldenløve var udnævnt til statholder i Norge – selv om han sjældent kom der.
Gyldenløve overlod i 1699 palæet til Christian den 5.’ enke, Charlotte Amalie, og fik opført et nyt domicil på hjørnet af Dronningens Tværgade og Bredgade (i dag: Håndværkerforeningen).
Herefter fik slottet navnet Charlottenborg, og enkedroningen boede her til sin død i 1714 og senere var det i perioder bolig for andre medlemmer af den kongelige familie. Men det blev også brugt til opførelse af opera og skuespil, indtil Hofteatret blev indrettet på det nye Christiansborg Slot.
I midten af 1700-tallet blev Charlottenborg overtaget af Det Kongelige Danske Kunstakademi, der tidligere havde haft til huse på Christiansborg, hvor Hofteatret kom til at ligge.
Kunstakademiet var blevet til efter udenlandsk forbillede, og skulle i begyndelsen først og fremmest uddanne kunstnere, der kunne fungerer i hoffets og statens tjeneste.
Akademiet planlagde dog også opførelse af en bygning til udstilling af kunstværker. Først i 1880’erne blev den færdig. Den var tegnet af arkitekterne Frederik Meldahl og Albert Jensen.
I dag rummer Charlottenborg udstillingsstedet Kunsthal Charlottenborg og Danmarks Kunstbibliotek.
