Vejen har navn efter Kjeld (død 1150), der var domprovst i Viborg og blev kåret som helgen i 1189.
Årsagen til at navnet findes her, er at der ved gaden i 1904 blev bygget et kloster (se nærmere under Sankt Augustins kirke).
Overfor klosteret ligger en boligkarré, der blev opført i 1924 efter tegninger af arkitekterne Poul Henningsen og Kay Fisker. Mens Fisker tegnet en del etageboliger, er det en af de eneste fra Poul Henningsens hånd.
Ved Sankt Kjelds Gade ligger Solgården, der blev tegnet i årene omkring 1930 af arkitekten Henning Hansen (1880-1945). Bygherren var Københavns Almene Boligselskab (KAB). Det var et banebrydende boligbyggeri, fordi karréen er åbnet mod sydvest, så der kommer sol ind i gården. Haveanlægget blev udformet af landskabsarkitekten C. Th. Sørensen.
Facaderne mod syd og vest er trukket tilbage fra gadelinjen, som der er plads til små forhaver. Solgården var også anderledes ved, at der kun var én trappe i opgangene – og altså ikke nogen køkkentrappe. Man opførte trappen i beton, så der ikke var brug for to trapper i tilfælde af ildebrand. Nogle af de i alt 186 lejligheder var som noget usædvanligt indrettet med små kamre til børn.