Som nabo til Charlottenborg på Kongens Nytorv, opførtes omkring 1780 en lidt usymmetrisk bygning, der lukkede facaderækken hen til Det Kongelige Teater.
Det var arkitekten Caspar Frederik Harsdorff (1735-1799), der foreslog en bygning, som dels var mere nyttig end den mur man først havde foreslået, dels kunne forstærke indtrykket af, at Kongens Nytorv var én af “de prægtigste pladser i Europa”, som han skrev.
Harsdorffs Hus, som bygningen blev kaldt, var nærmest tredelt, for grunden var akavet og svær at bygge et traditionelt palæ på.
For sin indsats for at forskønne det fine Kongens Nytorv, fik Harsdorff skattefrihed.
Huset blev aldrig brugt af Harsdorff selv, men der imod af grev C. F. E. Rantzau og siden af Udenrigsministeriet. I dag rummer det en del af Kunstakademiet på Charlottenborg.
