Hvor Hørsholm Kirke ligger i dag, lå der i middelalderen en borg på en ø i et moseområde. Stedet hed nok oprindeligt Hørningsholm, men blev i 1600-tallet til Hirschholm, efter det tyske hirsch, som er betyder hjort.
Sagnet fortæller, at navnet opstod da man nedlagde en hjort i søen ved Hørsholm, men det har næppe noget på sig.
Kong Frederik den 2. lod omkring 1577 middelalderborgen rive ned og byggede et slot i stedet.
Næsten to hundrede år senere besluttede Kong Christian den 6. at bygge et helt nyt og meget større slot til sig selv og sin dronning Sophie Magdalene på stedet.
Dette slot blev tegnet af arkitekten Laurids de Thurah (1706-1756) og stod færdigt i 1744. Kongen døde få år efter, men dronning Sophie Magdalene fortsatte med at bruge det som enkesæde.
Til slottet hørte et kapel, som også blev tegnet af Thurah.
I 1770’erne blev Hirschholm rammen om kong Christian den 7‘s livlige fester og hans dronning Caroline Mathildes samliv med den kongelige rådgiver Struensee, som førte til hendes landsforvisning og hans henrettelse.
Herefter blev slottet ikke brugt længere, fordi man skammede sig over skandalerne ved hoffet. Manglende vedligeholdelse gjorde, at det forfaldt og til sidst revet ned omkring 1810.
Omkring slottet blev i 1700-tallet anlagt en anseelig park. Den var tegnet af bygmester Johan Cornelius Krieger (1683-1755) i streng, symmetrisk barokstil efter europæiske forbilleder, f.eks. haveanlægget ved det franske slot Versailles.
Da Hirschholm slot forfaldt, blev parken heller ikke vedligeholdt, men med tiden overtaget af skovvæsenet, der brugte den som planteskole.
Mens selve Hirschholm slot er forsvundet, eksisterer stadig en del af avlsbygningerne. Den store kornlade, der ligger øst for slotssøen, var tidligere en del af Jagt- og Skovbrugsmuseet.
I forbindelse med slottets avlsbygninger står den såkaldte Stolberg-støtte, der blev tegnet af Nicolas-Henri Jardin.
Den er rejst til minde om grev Christian Stolberg, der omkring 1760 sammen med enkedronning Sophie Magdalene gennemførte reformer af landbruget på Hirschholms jorder og i de omliggende landsbyer. Det var det første skridt på vejen mod de landboreformer, der gennemførtes i hele landet sidst i 1700-tallet.