Oprindeligt var Hvidøre en gård, der lå længere inde i landet ved Sølystparken. Her siges det, at kong Christian den 2.’s elskerinde Dyveke boede.
Senere blev ejendommen til landstedet Christiansholm.
Det nuværende lystslot Hvidøre blev opført ved Emiliekildevej i 1872, hvor der tidligere havde ligget en skole.
Arkitekten var Johan Schrøder (1836-1914), der opførte huset for juristen og diplomaten Frederik Christian Bruun.
Bygningen var i den såkaldte “klunkestil” og forsynet med mange dekorative elementer, f.eks. en loggia båret af karyatider udført af billedhuggeren Otto Ewens, efter inspiration fra karyatide-figurerne på det græske Akropolis-tempel.
Tårnet er foroven forsynet med et kuppelformet spir.
Efter Bruuns død blev ejendommen i 1909 købt af to døtre af kong Christian den 9., Dagmar og Alexandra. De var henholdsvis kejserinde af Rusland og dronning af England, og opholdt sig på Hvidøre, når de var i Danmark.
Efter sigende var de bange for at blive kørt over af sporvognen, der kørte på Strandvejen udenfor huset, så de fik bygget en tunnel under vejen.
Da Dagmar blev enke i 1920, flyttede hun permanent ind på Hvidøre.
Efter Dagmars død i 1928 kom slottet i privateje og blev fra 1938 indrettet som hospital af virksomheden Novo.
