Gaden har sit navn efter et landskab i Sverige.
Herjedalsgade har først og fremmest været adgangsvej til Kloakpumpestationen. På kortet fra 1903 herover, ses vejen lige til venstre for pumpestationen.
Vest for vejen lå tidligere den åbne latrinkule, hvor indholdet fra Københavns lokummer blev hældt i.