Gaden er opkaldt efter justitsminister Christian Sofus Klein (1824-1900). Det er imidlertid i hans egenskab af formand (overpræsident) for Københavns Borgerrepræsentation i årene 1891-1899, at han har fået et vejnavn.
Klein havde iøvrigt tidligere afløst Ernst Emil Rosenørn, der har givet navn til Rosenørns Allé på posten.
Den ganske korte gade ligger i en lille lomme af Nørrebro, som skærer sig ind i Frederiksberg Kommune syd for Åboulevard. I området ligger også Julius Thomsens Gade og Herman Triers Plads.
Her lå tidligere Københavns Ladegård og først da dens bygninger endeligt blev nedrevet i 1920’erne, kunne dens grund bebygges.