Navnet hentyder nok til, at der i 1300-tallet, hvor gaden opstod, endnu var grønne områder indenfor voldene.
Det kan også være at navnet kommer af, at gaden førte ud til byens vold, hvor der udenfor lå nogle haver.
En tredje forklaring lyder, at der i gaden boede nederlændere fra byen Groningen.
Gaden nævnes første gang 1377 og navnet er et af de få i København, som er uforandret siden middelalderen.
Grønnegade blev ikke ramt af de store bybrande i 1700-tallet, men det betød til gengæld at kvarterets ejendomme i slutningen af 1800-tallet var stærkt forfaldne og blev revet ned. Enkelte huse i Grønnegade fik dog lov at blive stående.
Mellem Grønnegade og Østergade gik Peter Madsens Gang.
Ved gaden oprettede Ludvig Holberg Grønnegadeteateret i 1720’erne. Teateret lå dog i sidegaden Ny Adelgade, som dengang kaldtes Lille Grønnegade.
Efterhånden blev Grønnegade befolket af folk med ”skrappe” tunger, der talte et meget folkeligt københavnsk. Det gav navn til begrebet ”Grønnegade-dansk”.
I Grønnegade 33 lå tidligere en farve- og fernisfabrik opført for De Forenede Malermestrers Farvemølle (billeder herunder). Huset er tegnet af arkiteken Frederik Thorvald Emil Blichfeldt (1849-1908).