Tobaksfabrikant Heinrich Hirschsprung og hans hustru Pauline opbyggede i 1800-tallet en stor kunstsamling. Tobaksfabrikationen foregik i Tordenskjoldsgade.
I 1902 skænkede de samlingen til Staten og til byen København, på betingelse af, at der skulle opføres en selvstændig udstillingsbygning til værkerne, så man ved et besøg fik et samlet kendskab til 1800-tallets kunst.
Derfor blev samlingen ikke en del af Statens Museum for Kunst, selv om det ligger lige ved siden af.
Samlingen åbnede for offentligheden i 1911 i en bygning i et den nordvestlige del af Østre Anlæg med indgang fra Stockholmsgade.
Museumsbygningen blev tegnet af arkitekten Hermann Bogøe Storck (1839-1922) i en nyklassicistisk stil, der opfyldte Hirschsprungs ønske om enkelhed. Hirschsprung døde dog inden museet åbnede.
Bygningen blev fredet i 1995.