Det er uklart, hvorfor vejen har fået sit navn. Der var på det tidspunkt ikke andre veje i området, som kan have inspireret til navnet. Vejnavnet er måske foreslået af en af de første villaejere.
Den nordligste del af vejen blev anlagt i slutningen af 1870’erne som en sidevej til Peter Bangs Vej.
Den ældste bebyggelse ligger i vejens nordlige ende. Her er flere villaer fra 1880’erne.
Jyllandsvej 11 er villaen “Isabella” (herover), hed formentlig tidligere Rostgård. Huset er tegnet i 1880 af H. P. N. Hedemann.
Langs den første del af Jyllandsvej ligger stadig enkelte villaer fra 1880’erne. Her er også dobbelthuse, der blev opført omkring 1900 for gasværksarbejdernes byggeforening (Se nærmere under >Folkets Allé).
Her ligger også enkelte etageejendomme, f.eks. Jyllandsvej 10-12, der er opført i 1939 efter tegning af arkitekt Niels Westergaard (1883-1951) i funktionalistisk stil.
Med tiden blev Jyllandsvej forlænget mod syd, så den til sidst nåede Roskildevej.
På den sydligste del gik vejen langs jernbanelinjen mellem Vigerslev og Frederiksberg. Banen er nedlagt, men Den Grønne Sti følger dens forløb.
Her ligger Haveforeningen Dalgas, der har sit navn efter Dalgas Boulevard.
