Navnet Skodsborg nævnes i 1600-tallet, og udspringer af mandsnavnet Skot.
Selv om der i 1700-tallet lå en fæstning ved kysten, har den næppe noget med navnet at gøre. Den var formentlig anlagt for sjov og til pynt, som en del af det haveanlæg, der blev anlagt her.
I 1700-tallet blev der på den smalle strimmel jord mellem skoven og stranden anlagt to lystejendomme, Retraite og Skodsborg ved Skodsborg Strandvej.
Retraite, der ses på akvarellen fra 1825 herover. blev i 1785 omdannet til en fabrik, der fremstillede lædervarer. Senere blev den drevet sammen med Strandmøllen og fremstillede bl.a. stearinlys.
I midten af 1800-tallet blev fabrikken en del af klædeproduktionen i Brede Værk, og i 1900-tallet specialiseredes fabrikken, så den udelukkende fremstillede hatte. Den blev én af de største i branchen, og havde i 1940’erne 200 ansatte. En del af dem boede i de arbejderboliger, der hørte til fabrikken.
Efter at Dansk Hattefabrik lukkede i 1970’erne, blev dens bygninger revet ned og i stedet opførtes i 1983 boligbyggeriet Skodsborg Strandhave, hvor den havde ligget.
Skodsborg tilhørte Just Fabritius, som ejede landstederne Sølyst og Christiansholm i Klampenborg. Just’ bror ejede landstedet Enrum i Vedbæk.
Brødrene var begge storkøbmænd og skibsredere. Deres skibe bragte varer hjem fra fjerne lande og indbragte formuer, så de kunne leve et luksuriøst liv på deres lystejendomme.
Det fortælles, at når et skib kom hjem med en ladning, blev der holdt fester, hvor mulatdrenge serverede skildpaddesuppe og skænkede op af eksotiske vine.
Ved Skodsborg blev der anlagt en romantisk have med en kilde, der lå op mod skoven.
I anden halvdel af 1700-tallet tilhørte Skodsborg Johannes Søbøtker, der senere opførte landstedet Øregård i Hellerup.
Senere, i 1800-tallet, blev stedet overtaget af prins Ernst af Hessen-Philipstal-Barchfeld, som havde familierelationer til kongehuset. Prinsen rev det gamle Skodsborg ned og opførte et palæ i empirestil. Bygmesteren kendes ikke, men regnes for at være én af arkitekten C. F. Hansens elever.
I 1852 blev Skodsborg købt af kong Frederik den 7. Han forlængede hovedbygningen og forsynede den med en balkon, hvor han sammen med sin hustru grevinde Danner kunne nyde udsigten over Øresund. På denne tid fik bygningen navnet Skodsborg Palæ.
Kongen holdt meget af stedet og opholdt sig gerne i Skodsborg i flere måneder ad gangen. Han elskede det frit liv i naturen og boede en del af tiden i et telt. Her indrettede han sit arbejdsværelse og holdt audiens.
Kong Frederik fik også anlagt en karpedam inde i Jægersborg Hegn, hvor han kunne fiske.
Nord for palæet lod han bygge en grotte, der næsten er en drypstenshule. Grotten var dog kun til pynt og fungerede samtidig som udsigtspunkt, hvor kongen holdt middagsselskaber. Grotten er fredet, og foran står en buste af Frederik den 7.
Mens kongen var i Skodsborg gennemførtes statsrådet på Eremitageslottet i Jægersborg Dyrehave og senere i en nabovilla, der blev opført ved siden af Skodsborg Palæ.
Villa Rex, som den blev døbt, blev indrettet til repræsentative formål. Villaen blev tegnet af arkitekten Johan Henrik Nebelong (1817-1871). Man siger, at de højtsidende vinduer skulle forhindre uvedkommende i at kigge indenfor, når det f.eks. blev holdt statsråd.
Tårnet er først bygget til senere og er måske inspireret af, at huset i sin form har en vis lighed med Vor Frue Kirke i København.
Efter kongens død i 1874 blev der på den modsatte side af vejen bygget et badehotel og en del villaer, der fungerede som feriehuse.
I 1898 oprettede Skandinavisk filantropisk Selskab et badesanatorium ved Skodsborg. Selskabet var en del af Adventistsamfundet.
Efterhånden opførte sanatoriet flere nye bygninger og overtog Skodsborg Palæ og Villa Rex, der i dag indgår i Kurhotel Skodsborg.
Området bliver i folkemunde kaldt for “Den hvide by”, fordi alle bygninger er hvidkalkede.
