Huset har navn efter den nærliggende Valby Bakke, som i dag er dækket af Søndermarken og Frederiksberg Slot.
Huset kaldes også for Gammel Bakkehus, fordi det lå ved siden af ejendommen Ny Bakkehus,
Bakkehuset stammer tilbage fra 1620’erne og blev opført som et såkaldt vangehus, der hørte til Københavns Ladegård.
I 1600-tallet var det traktørsted for de rejsende ad landevejen mellem København og Roskilde som gik her forbi. Den nuværende Rahbeks Allé går, hvor landevejen gik.
På Heinrich Buntzens maleri herover, ses den nuværende Kammasvej, som var en del af vejforløbet.
Midt i 1700-tallet blev Bakkehuset beboet af landets statsminister, Johan Ludvig Holstein.
Det var hans idé at flytte Roskildevej til dens nuværende forløb op over Valby Bakke. Dermed faldt grundlaget for kroen væk, og istedet åbnedes Slotskroen på hjørnet af Pile Allé og Vesterbrogade.
I 1700-tallet blev Bakkehuset restaureret ved arkitekten Johan Christian Conradi.
Sidst i 1700-tallet var huset lejet til gæster om sommeren, og i 1787 flyttede litteraturhistorikeren Knud Lyhne Rahbek (1760-1830) ind. Rahbek var bl.a. direktør for Det Kongelige Teater
I 1798 giftede han sig med Kamma Heger og i de følgende årtier blev Bakkehuset et mødested for guldalderens digtere og kunstmalere.
Her kom f.eks. Adam Oehlenschläger, Johannes Ewald, N. F. S. Grundtvig, Johan Ludvig Heiberg og H. C. Andersen.
Efter Rahbek’ernes død omkring 1830, blev Bakkehuset i 1850’erne overtaget af en komité, der oprettede en anstalt for “idioter” – dvs. åndsvage m.m. – på nabogrunden. Bakkehuset fik en ny funktion om tjenestebolig for anstaltens personale.
1925 åbnede i huset De Rahbekske Mindestuer, som var forløberen for det nuværende Bakkehusmuseum.
Bakkehuset betragtes som den ældste bygning i Frederiksberg Kommune og er fredet.