Gaden er opkaldt efter Frederik Høegh-Guldberg (1771-1852), der boede i en villa, der lå, hvor Guldbergsgade 10 er i dag.
Høegh-Guldberg var lærer på Blågård Seminarium, der lå ved Blågårdsgade.
Guldbergsgade blev tidligere kaldt for Barkmøllevej, fordi der tæt på Sankt Hans Torv lå en mølle. Barkmøllen fungede sammen med et garveri, som formentlig brugte findelt bark i garveprocessen.
I 1858 fik gaden sit nuværende navn.
Gaden endte oprindelig ved en sandgrav, der lå udenfor krydset med Møllegade, men blev i etaper forlænget i takt med bebyggelsen af Nørre Fælled.
Guldbergsgade har en blandet bebyggelse, og der er stadig et præg af Nørrebros industrielle fortid.
Her er både helt almindelige beboelsesejendomme og ret fornemt byggeri, som Guldberggade 7 (billedet herunder). Dette hus er opført i 1904 og tegnet af arkitekten Nicolai Hansen (1887-1943).
I området mellem Peter Fabers Gade, Nørrebrogade og Meinungsgade ligger et tidligere industriområde, hvor bl.a. maskinfabrikken Smith, Mygind & Hüttemeier samt Bordings Trykkerier havde til huse.
Området er i 2011-13 sat i stand og ombygget af arkitektfirmaeterne Cebra og Bertelsen & Scheving.
En del af bygningskomplekset er under navnet Empire Campus en del af Københavns Erhversakademi.
I komplekset ligger også biografen Empire Bio (billedet herunder).
Bygningen Guldbergsgade 26 (billedet herunder) rummede Københavns Kommunes brolægningsafdeling og her var også arbejdsanvisningskontor.
Overfor Meinungsgade blev der i 1901 opført et alderdomshjem, som senere indgik i De Gamles By.
Ved Guldbergsgade blev der i 1936-37 desuden opført aldersrenteboliger (pensionistboliger), der blev tegnet af arkitekten Poul Holsøe (1873-1966). Bebyggelsen bestod af 533 lejligheder.
På arealet havde der tidligere ligger kolonihaver.
I den nordlige ende af Guldbergsgade ligger primært boligforeningsbyggeri opført efter 1. Verdenskrig.
Ejendommen på billedet herover er en del af byggeriet der udfylder karéen ud mod Jagtvej. Den blev opført i 1917 af Arbejdernes Kooperative Byggeforening med Christian Mandrup Poulsen (1865-1952) som arkitekt.