Gaden er opkaldt efter arkitekten Johan Daniel Herholdt (1818-1902).
Den ligger i et kvarter, som blev bebygget i 1920’erne på det tidligere jernbaneterræn.
Gaderne i området har navn efter toneangivende arkitekter, der har sat deres præg på københavnske byggerier, f.eks. Meldahlsgade, Kampmannsgade, Nyropsgade og Dahlerupsgade.
Herholdt tegnede bl.a. Nationalbankens (nu nedrevne) bygning ved Holmens Kanal og Universitetsbiblioteket i Fiolstræde.