Oprindelsen til landstedet Søholm var et lyststed, som kassereren ved Asiatisk Kompagni, Jacob Holm, lod opføre omkring 1773.
Bygningen blev lagt i en lille skov, der lå ud til Lundehussøen, som Emdrup Sø kaldtes dengang. Skoven kaldtes Haarepoven.
Jacob Holm boede på Søholm i ti år, indtil han blev arresteret for bedrageri.
I 1802 blev stedet købt af grosserer Joseph Nathan David, (1758-1830), som fik arkitekten C. F. Hansen til at opføre den nuværende bygning. David stammede fra Altona, og kendte sikkert C.F. Hansens byggerier derfra.
I husets midte lå en kuppelsal, hvorfra man kunne nyde udsigten ind mod København.
Søholm var Davids sommerbolig. Om vinteren boede han i Kronprinsessegade 30 i København, hvor senere hans oldebarn C. L. David, som grundlagde Davids Samling, boede.
C. F. Hansen tegnede også Søholms trefløjede, stråtækte staldbygning, der er fra 1805. Den ligger et stykke fra hovedbygningen (i dag Søholm Park 6). Det var dog ikke bare en simpel staldbygning, men et fint stykke arkitektur i sig selv, hvor hestene fik lov at nyde toskanske søjler i deres stald.
I 1830 forsøgte en ny ejer, Alphonse Casadaban at omdanne Søholm til traktørsted, men det havde han ikke held med. Hans idé var at skabe et sted, hvor det københavnske borgerskab kunne nyde livet uden at blande sig med almindelige mennesker.
Omkring 1860 blev de to lave sidebygninger tilføjet.
Oprindeligt hørte der en park til Søholm, men den er nu forsvundet og blevet til villaudstykningen på vejen Søholm Park.