Pladsen har sit navn efter fyrst Jarimar fra Rügen, der angreb København i 1259 og trængte gennem Vestervold på dette sted. Man har også brugt navnet Jarmers Gab.
På den tid var der stridigheder mellem kongen og Roskildebispen, der havde magten over København. Bispen, Jacob Erlandsen, stod fast på pavens rettigheder og indflydelse på kongemagten, og der passede ikke kong Christoffer den 1. Han satte Erlandsen i fængsel, og ydmygede ham ved at iføre ham en narrehat, hvorfra der hang rævehaler.
Samtidig drev venderne røvertogter langs de danske kyster, og da de var tro mod paven, gik de ind i konflikten. Fyrst Jarimar angreb København og brændte det meste af byen ned. Også slottet brændte. Der blev dog sluttet fred, på betingelse af, at bispen blev sat på fri fod.
Jarmers Tårn, som der endnu er ruiner af på pladsen, blev først opført i 1500-tallet under kong Frederik den 1. (1471-1533)., da byens befæstning blev moderniseret. I 1600-tallet blev det skjult af den nye befæstningsring omkring byen.
På stedet stod i dengang en kanon, som kaldtes ”den vrede slange”. Her var også et stokhus, altså et fængsel for soldater.
Ved sløjfningen af voldanlægget i 1860’erne, blev tårnet udgravet og man kan i dag se tårnets ruin og resterne af bymuren.
Et sagn fortæller, at Jarmers Tårn er den sidste rest af et kloster. Munkene lokkede unge piger ned i dets underjordiske gange, hvor de forsvandt.
Ved Jarmers Plads ligger en kontorbygning, der blev opført i slutningen af 1950’erne efter tegninger af arkitekterne Christian, Erik og Aage Holst for Østifternes Kreditforening. Siden 1916 havde kreditforeningen haft til huse i en bygning på omtrent samme sted, tegnet af Ulrik Plesner og Valdemar Dan. Den blev nedrevet i forbindelse med gennemførelsen af Gyldenløvesgade.