Museet er opført på en bastion på det tidligere voldterræn ved Østervold.
Bygningen er tegnet af arkitekten Vilhelm Dahlerup (1836-1907) sammen med Georg E. W. Møller.
Museet var bygget til at rumme den kongelige malerisamling, der var siden 1700-tallet havde været på Christiansborg Slot.
Da slottet brændte i 1884, måtte den midlertidig opbevares i Odd Fellow-palæet i Bredgade, men der blev arbejdet på at finde et permanent sted til samlingen.
Nogle årtier før voldene blev nedlagt og terrænet udenfor frigivet til bebyggelse, så der her blev plads til nogle af hovedstadens store og pladskrævende institutioner. bl.a. et helt nyt kunstmuseum.
Museet stod færdigt i 1896. Det er senere blevet ombygget flere gange.
I slutningen af 1960’erne blev den store trappe fjernet fra vestibulen og i 1990’erne blev museet udvidet med en moderne bygning bag ved den gamle. Tilbygningen er tegnet af Anne Marie Indrio.
I 2014 blev der anlagt en ny forplads foran museet. Her udførte arkitektgruppen Polyform et 30 meter bredt spejlbassin.
