Hvor lystslottet Hvidøre ligger i dag, var tidligere en høj, der kaldtes Kongehøjen.
Navnet skyldes muligvis, at der før bygningen af Hvidøre lå en såkaldt rytterskole, der var oprettet af kong Frederik den 4.
I 1871 blev skolen afløst af en ny, der blev opført på Teglgårdsvej i Skovshoved.
På Kongehøjen 3 og 10 ligger to villaer opført i 1933 af arkitekten Arne Jacobsen (1902-1971). Villaen på Kongehøjen 3 kaldes “Villa Jacobsen”.