Mod Gammel Strand lå i middelalderen en vold, der udgjorde en del af byens befæstning. Der er fundet spor af den under Løngangsstræde, som dateres til 1220’erne.
Kong Christian den 4. lod volden forstærke, og samtidig blev der anlagt en bro mellem Sjælland og Slotsholmen.
Broen blev kaldt Løngangen, og for at beskytte broen, blev der opsat kanoner. Udover at være en mulighed for flugt, hvis Slotsholmen blev angrebet fra søsiden, blev broen også brugt til almindelig trafik, der gik langs Løngangstræde.
Hvor gaden ligger i dag, løb tidligere en kanal, som forsynede vandmøllen ved Vandkunsten med vand. Kanalen kaldtes også for Møllebæksstæde, indtil vandmøllen blev nedlagt omkring 1670.
I Løngangsstræde 25-27 lå Danmarks første missionshotel, der åbnede i 1888.