Hvor Sorgenfri Slot ligger i dag, lå i middelalderen den lille bebyggelse Mølletorp. Dens navn siger, at den har haft en vandmølle, der udnyttede kraften i Mølleåen ved siden af.
I 1600-tallet anlagde Michael Wibe en lystgård på stedet.
Senere var den ejet af Ulrik Frederik Gyldenløve, som havde sin halvbror kong Christian den 5. på besøg. Kongen kaldte i sin dagbog gården for “Sorgenfrey” – det tyske ord for sorgløs. Dette navn er senere blevet fordansket til Sorgenfri.
Gyldenløves svigersøn, Frederik Ahlefeldt, overtog stedet og med Francois Dieussart som arkitekt, fik han omkring 1705 gården omdannet til et slot.
Stilen var inspireret af nederlandsk barokarkitektur, og slottet havde en del lighed med Østre Landsrets bygning i Fredericiagade.
Det bakkedrag, som slottet var opført på, blev forhøjet, så det så mere imponerende ud. Øst for slottet blev der anlagt en have i terasser med symmetriske bede.
Efter nogle årtier fik kong Christian den 6. slottet, som derefter blev bolig for forskellige medlemmer af kongehuset. De kongelige brugte dog mest Sorgenfri som sommerlandsted.
Hofbygmester Laurids de Thurah ombyggede og udvidede slottet i midten af 1700-tallet og fik opført de to fløjbygninger, der skulle rumme tjenestefolk og vogne.
Det var nødvendigt med mere plads til hoffets ansatte, da kronprins Frederik (den senere kong Frederik den 5.) flyttede ind med sin hustru, prinsesse Louise.
Sorgenfri Slot fik nu et udseende, der minder om det nuværende. Den øverste etage blev omdannet til en såkaldt mansardetage under taget, og der blev bygget et klokketårn. Herfra kunne der ringes til gudstjeneste om søndagen – selv om der ikke var en kirkesal på slottet.
Fra 1770’erne havde Sorgenfri i en periode ejere fra det københavnske borgerskab, der som de kongelige brugte slottet som sommerlandsted.
Det gjaldt f.eks. vinhandler Henrik Bolten (1734-1790), hvis virksomhed lå i Boltens Gård ved Gothersgade. Bolten etablerede et mindre væveri i en bygning mod nord. Der gik dog ikke så mange år, før Bolten gik fallit og måtte afhænde Sorgenfri og sine øvrige ejendomme.
I 1789 blev hovedbygningen endnu engang ombygget. Denne gang var Peter Meyn (1749-1808) arkitekt og han gav den såkaldte “damefløj” (billedet herunder) sit nuværende udseende.
Det var på denne tid, at Sorgenfris park blev omlagt fra den oprindelige, strengt symmetriske barokhave, til den romantiske have i engelsk stil, den er i dag.
Parken fik søer, broer, lysthuse samt en kilde og endda en kunstig grotte. På den anden side af Kongevejen blev der indrettet en festplads, hvor folk kunne mødes og more sig om sommeren. , Pladsen lå ved en oldtidshøj og fik derfor navnet “Dansebakken”.
Parken fik en hytte (billedet herunder) i schweizisk stil, som det var skikken i mange haver ved slotte og herregårde. Schweizerhuset i Sorgenfri Slotspark blev tegnet af Nicolai Abildgaard (1743-1809).
Abildgaard tegnede også den norske hytte, der blev opført på Dansebakken i begyndelsen af 1800-tallet. Den har sit navn, fordi tømmeret er hentet fra Norge.
I parken står flere monumenter som mindesmærker for nogle af Sorgenfris beboere.
I 1764 udførte Jacques-François-Joseph Saly (1717-1776) en buste af kong Frederik den 5. Busten var en del af forarbejdernes til Salys rytterstatue på pladsen ved Amalienborg Slot.
Nicolai Abildgaard udførte mindesmærket (herunder) for arveprinsesse Sophie Frederikke (1758-1794).
Kong Christian den 8. og dronning Caroline Amalie opholdt sig meget på Sorgenfri. Ved siden af slottets hovedbygning står et mindesmærke for dronningen.
I slotsparken står en mindesten for forfatteren og kvindesagsforkæmperen Gyrithe Lemche (1866-1845). Hun voksede op på gården Wilhelminelyst på Høstvej, ikke langt fra hvor stenen står.
Stenen blev rejst af blandt andre Dansk Kvindesamfund og Historisk-topografsk Selskab for Lyngby-Taarbæk Kommune, som Gyrithe Lemche var medstifter af.
Den sidste regerende konge der boede fast på Sorgenfri, var kong Christian den 10, der sammen med dronning Alexandrine brugte det som sommerbolig.
Begge deres to sønner, Frederik (senere kong Frederik den 9.) og Knud, blev født her. I parken blev der plantet et egetræ for hvert af de to børn.
Knud boede som arveprins på slottet sammen med sin hustru Caroline Mathilde. Deres datter, prinsesse Elisabeth, boede i damefløjen til sin død i 2018, som den sidste i rækken af kongelige beboere på Sorgenfri.
I dag er selve slottet ubeboet, men er stadig til rådighed for kongehuset.
Nord for slottet ligger gartnerboligen (herunder), som er opført i 1840’erne efter tegninger af arkitekten Jørgen Hansen Koch (1787-1860).
I gartnerboligen boede omkring 1900 forfatteren Viggo Stuckenberg med sin kone Ingeborg. De havde tidligere boet i “Villa Vennely” på Kongevejen. Hun stak af med gartneren til New Zealand. Til gengæld giftede Viggo Stuckenberg sig med gartnerens efterladte kone.
I slotsparken står et mindesmærke for Viggo Stuckenberg.
Det blev udformet af Kaare Klint og opsat i 1934 og har en inskription med en strofe fra digtet “Ingeborg”.