Gården er opkaldt efter dens ejer fra 1755, hofsnedker Diderich Schæffer (død ca. 1778).
Oprindeligt skulle den have været en del af staldanlægget ved Jægersborg Slot. Den blev opført af private håndværksmestre, efter at slottets stalde ved en restaurerering ikke havde plads nok til kavalerernes heste.
Bygherren mente så at kunne sælge staldbygningen til kongen, men det lykkedes ikke. I stedet overtog Schæffer stedet og fik hovedbygningen udvidet med en etage, i håb om, at kongens ville bruge gården under sine jagter. Heller ikke denne plan blev til noget, og Schæffer tabte en del penge på ombygningen.
Gården fik nu en række ejere fra det københavnske borgerskab, i første halvdel af 1800-tallet f.eks. af købmanden Christian Broberg.
Senere kom hofurmager Johan Henrik Schæffer til gården, men han var dog ikke i familie med Diderich Schæffer.
Efter 1900 var Schæffergården ejet af kong Christian den 10.’s bror, prins Harald.
I dag ejes gården af Fonden for dansk-norsk samarbejde, og har bl.a. været kollegium for norske studerende i Danmark. I dag drives den som hotel og restauration.
I tilknytning til Schæffergården blev i 1830 ud til Ermelundsvej opført en villa, der senere fik navnet Villa Helene (herunder). Her boede bl.a. Christian den 9.’ søn, prins Valdemar og hans hustru prinsesse Marie.
Huset var i en periode været et hjem for ældre kvinder, der blev ledet af Helene Christiansen – som villaen har fået sin navn efter.
Villa Helene er fredet og i 2003 overtaget af fonden Realdania.
