I middelalderen lå borgen Hjortholm, hvor Mølleåen løber ud i Furesøen.
Den bestod af en firelænget hovedbygning omgivet af en voldgrav, og uden for nogle bygninger til dyreholdet.
Borgen tilhørte biskoppen i Roskilde, som herfra kunne kontrollere sine jordbesiddelser i Nordsjælland.
Under Grevens Fejde – borgerkrigen der rasede i landet i 1535 – blev borgen skudt i sænk med kanoner. Den blev aldrig genopbygget, og lå som en ruin i mange år. Bønderne i den nærliggende landsby Virum hentede munkesten fra ruinen, og det siges, at de stadig sidder i gamle bygninger i byen.
Til Hjortholm hørte en vandmølle, som i midten af 1600-tallet blev grundlaget for en industriel produktion af kobber og messingprodukter. Senere var her produktion af papir, som blev drevet af Johan Drewsen, der dog i slutningen af 1600-tallet flyttede papirproduktionen til >Strandmøllen, hvor Mølleåen løber ud i Øresund.
I 1668 overtog kong Frederik den 3. Hjortholm og omdømte stedet til Frederiksdal. Kongen opførte oppe over bakken sit Frederiksdal Slot, som han opkaldte efter sig selv.
Der er i dag ikke spor af Hjortholms bygninger, men der ligger endnu en lille halvø i Furesøen, hvor borgen lå.