Efter at København i midten af 1800-tallet var blevet ramt af koleraepidemier, tog lægerne F. F. Ulrik og Emil Hornemann initiativ til at opføre boliger for arbejderklassen udenfor den tæt bebyggede by.
Byggeriet skete gennem Arbejdernes Byggeforening, der var stiftet i 1885 på skibsværftet Burmeister & Wain.
Foreningen opførte en række arbejderboliger ved Sverrigsgade i Sundbyvester, i Schønbergsgade på Frederiksberg samt flere andre steder i København.
I årene 1873 til 1889 opførte foreningen et omfattende byggeri af 480 rækkehuse på Østervold i området mellem Sortedamssøen og Øster Farimagsgade.
Bebyggelsen startede i den nordlige ende af området, samt langs Webersgade.
Helt tilbage fra 1760-erne ejede en tysk gartner, Johan Heinrich Reeh, jorden. Her dyrkede han kartofler, som ikke var så almindelige i Danmark endnu.
Da en af Reehs efterkommere i 1870’erne solgte jorden til boligbyggeri, blev rækkehusene i folkemunde kaldt for “Kartoffelrækkerne”.
Husene blev tegnet af arkitekten Frederik Bøttger (1838-1920). De var ikke allesammen ens, men bestod af flere forskellige typer. Nogle var udstyret med frontispicer eller dekorede gavle.
Medlemmerne i byggeforeningen indbetalte hvad der svarede til 33 øre om måneden. Husene blev fordelt til byggeforeningens medlemmer efter lodtrækning.
Nogle medlemmer mente dog, at bebyggelsen lå for langt udenfor byen, for der var endnu ikke meget bebyggelse herude.
I hvert hus var der plads til to familier, som skulle afdrage prisen over 25 år.
Nogle købte et helt hus og lejede den ene etage ud.
Husene havde forhaver og også en lille gård på bagsiden, men arealet her skulle deles med genbohuset. I gården stod lokummet, og når spandene blev tømt, måtte natmænene bære indholdet gennem husene og ud på gaden.
De mange parallelle gader, som Kartoffelrækkerne består af, har først og fremmest navne efter billedkunstnere. Der er dog et par undtagelser, nemlig Voldmestergade, J. A Schwartz Gade og Hallinsgade, hvor de første huse i kvarteret blev opført.
Området hørte i sognemæssig henseende til Esajas Kirke, men mange beboere var tilknyttet Luthersk Mission, og brugte derfor missionshuset i Nansensgade.
Derfor fik Kartoffelrækkerne også tilnavnet “De hellige rækker”.