Spurveskjul var allerede i 1600-tallet navnet på en del af skoven omkring Frederiksdal.
Skoven strakte sig helt op mod Virum landsby, og i den nordlige del boede en skovvogter i et lille hus. En københavnsk tømmerhandler købte det i 1730 og byggede det om til en lystejendom, hvor københavnske borgere boede om sommeren.
I 1805 blev Spurveskjul købt af kunstmaleren Nicolai Abildgaard (1743-1809).
Han var direktør for Kunstakademiet og boede på Charlottenborg, men ønskede sig en sommervilla i italiensk stil. Bygningen fik nu to etager, men var opført i bindingsværk, for at fremhæve den landlige atmosfære.
Nicolai Abildgaard kendte egnen ved Lyngby. Han tegnede de to the-pavilloner, Schweizerhuset og Norske Hus ved Sorgenfri Slot.
Abildgaard døde i 1809 og Spurveskjul blev overtaget af præsten ved Vor Frelsers Kirke på Christianshavn, Carl Holger Visby. Han lejede i nogle år i 1850’erne stedet ud til digteren Christian Winther (1796-1876), som formentlig her skrev digtet om Furesøen “Flyv fugl, flyv over Furesøens vove”.
Et hus overfor Spurveskjulhuset siges at have inspireret H. C. Andersen til sangen “Hist, hvor vejen slår en bugt”.
Fra 1911 boede maleren Vilhelm Hammershøi på Spurveskjul.
