Vejen har navn efter et hus, der hørte til Heslegård (se artiklen om Heslegårdsvej).
Heslehøj var bl.a. ejet af ejeren af Nordisk Film, Ole Olsen (1863-1943). Han har givet navn til Ole Olsens Allé.
På Heslehøj havde han en stor samling af kunst og porcelæn.