Gaden er opkaldt efter kunstdrejer John Adam Schwartz, (1820-1874) der havde sit værksted i Sværtegade.
Han havde arbejdet for at forbedre håndværkernes uddannelse, og deltog i arbejdet i Arbejdernes Byggeforening, der opførte husene i Kartoffelrækkerne. Foreningen ville gerne hædre ham med et vejnavn i bebyggelsen.
Arbejderboligerne i J. A. Schwartz Gade var blandt de første, der blev opført. Jorden tilhørte voldmester John Heinrich Reeh, der har givet navn til nabogaden Voldmestergade.
