Torvet har navn efter Gråbrødreklosteret, der lå på stedet indtil 1530’erne.
Klosteret ophørte ved Reformationen i 1500-tallet, og en del af dets grund blev solgt.
Efter klostret var revet ned i 1530’erne, byggede rigshovmester Corfitz Ulfeldt en gård på stedet. Gården lå på hjørnet af den nuværende Kejsergade.
Ulfeldt var gift med Christian den 4.’s datter, Leonora Christine, men kom i unåde, fordi han havde forrådt sit land, ved at gå i svensk krigstjeneste i 1658. Mens kongen søgte at fjerne magten fra rigsrådet, støttede Ulfeldt adelens krav om mere indflydelse. Ved fredsslutningen i Roskilde i 1659 deltog Ulfeldt på svensk side.
Ulfeldt stak af til udlandet, men blev henrettet på torvet in absentia i 1663 i form af en dukke, mens Leonora blev indsat i fangenskab i Blåtårn på Københavns Slot.
Ulfeldts gård blev i 1664 revet ned “til sidste sten”, og der blev opstillet en skamstøtte over Ulfeldt på torvet med indskriften “til evig spot, skam og skændsel”. Torvet blev stadig indtil 1841 kaldt for Ulfeldts Plads.
Skamstøtten blev først fjernet i 1842 og er nu på Nationalmuseet. På fundamentet står: “Skam og skændsel”. På torvet er der en mindesten i brolægningen, hvor støtten stod.
Ved den omfattede brand i København i 1728 brændte alle husene i området. De blev hurtigt genopført, og der ligger stadig i dag en velbevaret række af de såkaldte “ildebrandshuse” på sydsiden af torvet.
Ud mod Klosterstræde ligger nogle huse, der blev opført efter bombardementet i 1807.
Over døren til Gråbrødretorv 1 står en mindetavle (herunder), opsat i 1732, med inskriptionen “Hvad Ilden har fortæret, har Gud igen beskiert”.
På torvet var der i 1700-tallet handelsboder, der bl.a. blev brugt til marskandiserhandel. De mange boder på torvet var en torn i øjet på de omkringboende, som i 1840 bad om at få dem fjernet.
Efter oprydningen fik torvet sit nuværende navn.
I stedet for de mange boder, blev der nu i stedet bygget en slags markedshal i støbejern.
Den eksisterede frem til 1902, hvor Foreningen til Hovedstadens Forskønnelse fik den fjernet.
Foreningen fik også plantet det store platantræ, som stadig pryder torvet.
Fra Torvet er der passage til Valkendorfsgade gennem “Kringlegangen”. Den blev til i 1970’erne, da man åbnede nogle af baggårdene op. Gangen gik enten sit navn på grund af kringlen, der sidder over porten til den, eller fordi dens forløb er “kringlet”.
I 1971 blev der på torvet opstillet en vandskulptur (herunder), udført af Søren Georg Jensen.
