Klosteret blev oprettet i 1238 af tyske franciskanere – eller gråbrødre. En tysk fyrstinde, Ingegerd af Regenstein (der var søster til biskop Peter Sunesen) skænkede en gård til klosteret.
Klosteret lå, hvor Gråbrødretorv ligger i dag og hovedbygningen lå ud til den nuværende Klosterstræde.
Det var et fire-fløjet anlæg, men der var flere andre bygninger og en stor have, der strakte sig helt ned til Købmagergade.
I flere hundrede år var det Københavns eneste, religiøse stiftelse. Med tiden blev institutionen meget rig, fordi den modtog mange gaver, og huset, der var byens største, blev også brugt til repræsentative formål og til forhandlinger og møder.
Klostreret havde en del ejendom udenfor byen, og deltog i sildemarkederne i Dragør.
Gråbrødrene var tiggermunke og levede meget spartansk. Men de ofrede næsten al deres tid på omsorg for gamle og syge samt for byens fattige.
Borgerne udenfor klosteret mente dog, at munkene indenfor levede et liv i synd og vellevned.
Allerede i 1530 – seks år før reformationen – blev munkene tvunget til at forlade klosteret.
Bygningerne blev delvist revet ned, men enkelte dele er bevaret, f.eks. i kælderen til Gråbrødretorv 11 (Restaurant Peder Oxe), hvor der findes en mur der stammer fra klosterets fængsel. Under nabohuset i nr. 13 kan man se rester af murværket fra herberget.