Gaden er måske opkaldt efter kong Harald Blåtand ( – 987) og ligger i et kvarter, hvor en række gader har navne fra de tidligste kongelige i danmarkshistorien. Den kan dog også have den norske sagnkonge Harald Hårfager som ophav, og dermed er der en sammenhæng med Ragnhildgade, der er opkaldt efter hans hustru.
Haraldsgade fik sit navn omkring 1880, men havde eksisteret tidligere som en forbindelsesvej mellem Tagensvej og Lyngbyvej.
Vejen kaldte tidligere Gammel Renovationsvej, fordi området blev brugt som losseplads for affald.
Ved Haraldsgade omkring Lersø Parkallé lå det lille landsted Marielyst. Her åbnede i midten af 1850’erne en højskole, som forfatteren N. F. S. Grundvig fik foræret til sin 70 års fødselsdag.
Skolen fik gavemodtagerens navn, og flyttede i 1890 til Lyngby. Den eksisterer stadig under navnet Grundtvigs Højskole og ligger nu i Hillerød. Bygningerne forsvandt i midten af 1950’erne.
I dag ligger en transformatorstation på stedet, hvor der er opsat en mindesten for Grundtvigs højskole. Stenen er udført af billedhuggeren Hans Wilhelm Larsen.
Haraldsgades vestlige del er præget af boliger, mens der mellem Vermundsgade og Lersø Parkallé (Østerbro) er flere industri- og erhvervsvirksomheder.
På Haraldsgade 53 ligger kontorbygningen Haraldshus, der blev opført til Lauritz Knudsens fabrikker i Vermundsgade. Haraldshus blev tegnet af arkitekten Dan Fink (1908-1998).
Bygningen har siden fabrikken lukkede huset forskellige statslige myndigheder.
Omkring Aldersrogade går Haraldsgade forbi husene i byggeforeningen Vibekevang.
Haraldsgården på hjørnet af Ragnhildgade er opført af Taksigelseskirkens sogn i 1945 som børnehave m.m. Institutionen var etableret med støtte fra nogle af kvarterets virksomheder.