Pladsen er ligesom Guldbergsgade opkaldt efter Frederik Høegh-Guldberg (1771-1852), der boede i en villa, der lå, hvor Guldbergsgade 10 er i dag.
Høegh-Guldberg var lærer på Blågård Seminarium, der lå ved Blågårdsgade.
Guldbergs Plads ligger, hvor den såkaldte Lammefælled var engang. Den var en del af Nørre Fælled. Da der i 1893 blev indgået aftale om fælledernes tilhørsforhold, blev området i første omgang udlagt til kolonihaver.
Da området omkring pladsen blev bebygget, var Guldbergs Plads delt over af Arresøgade, men der er senere lukket af.
