Gadens navn skyldes, at den lille slippe i den nordlige ende udvides til et torv, der har form som skaftet på en pistol.
Navnet Pistolstræde kendes fra midten af 1700-tallet.
Den er den sidste af de små, snævre gange, som lå i området. En anden, Peter Madsens Gang, forsvandt i 1870’erne, da Ny Østergade blev anlagt.
I nyere tid har Pistolstræde fået forbindelse med Østergade gennem en forretningsarkade.
I Pistolstræde blev i 1980 opstillet skupturen “skadebrønden”, udført af kunstneren Gunnar Westman (1915-1985).