Begyndelsen til en by med boliger for København ældre borgere, blev lagt med opførelsen af hospitalet ved Nørre Allé i 1892.
Det var tegnet af arkitekten Vilhelm Petersen (1830-1913) og var en afløsning for det gamle Almindelig Hospital i Amaliegade, hvis bygninger var nedslidte og blev nedrevet.
Oprindeligt var det planen på arealet at opføre en “Arbejdsanstalt for Mandfolk”, der skulle afløse Københavns Ladegård. Det blev opgivet, og i stedet kom arbejdsanstalten til at ligge på Amager, da man efter århundredeskiftet byggede institutionen Sundholm.
Ved Guldbergsgade blev der i 1901 opført et alderdomshjem (billedet herover). Det fik navnet Salem efter et gammel navn for byen Jerusalem. Hjemmet var tegnet af arkitekten Gotfred Tvede (1863-1947) og bestod af nogle ret høje bygninger, der i folkemunde fik navnet “Slottet”.
Disse to institutioner blev fra 1918 sammenlagt under fællesnavnet De Gamles By, der i alt kom til at bestå af 24 forskellige bygninger og havde i 1920’erne omkring 1.500 beboere.
Byen er opbygget symmetrisk om den centrale vej, der hedder Alléen. I 1994 fik en række af de interne veje i De Gamles By navne efter danske forfattere.
Mod Nørre Allé blev der opført en administrationsbygning (billedet herunder).
Den Gamle By fik sin egen kirke, der også var tegnet af Vilhelm Petersen i en stil, der er inspireret af nederlandsk barok. Den ligger for enden af hospitalets midterallé og er ottekantet.
En del af kirkens inventar stammer fra den kirkesal, der var i det tidligere Almindelig Hospital.
De Gamles By er ikke længere kun for ældre medborgere. I et hjørne af området, ud mod Guldbergsgade, ligger Byoasen, der er en park for kvarterets beboere, med legeplads, kolonihaver og dyr.