I forbindelse med saneringen af kvarteret omkring Borgergade i 1940’erne, opstod en ny gade mellem Borgergade og Store Kongensgade.
Gaden fik navn efter et værtshus, der lå her i 1600- og 1700-tallet. Det hed Landgreven af Hessen, og havde på facaden et billede af denne greve. Da man endnu ikke brugte husnumre, refererede man blot til stedet som “Landgreven”.
Navnet passede godt ind i traditionen med navngivning i området, hvor gaderne har navne efter kongelige og adelige titler.
Over døren til ejendommen Borgergade 14 hang der tidligere en stentavle med indskriften “Landgreven 1789”.
Hele gadens nordside fyldes ud af kontorbygningen Sankt Annæ Palæ, hvis navn er hentet fra Sankt Annæ Kvarter, som var den gamle betegnelse for området.
Bygningen er tegnet af arkitekten Ole Falkentorp (1886-1948) og opført 1943-44.
Efter bombningen i 1945 af “Shellhuset” i Kampmannsgade, flyttede det tyske politi Gestapo indtil Befrielsen sit hovedkvarter i Danmark til Sankt Annæ Palæ.
Under Landgreven ligger en parkeringskælder, så en stor del af gadearealet består af en nedkørsel dertil.
Lige syd for Landgreven gik den korte Helsingørgade, som endeligt forsvandt i 1990’erne.