Gaden er formentlig opkaldt efter en hestemølle, som Henning Skriver anlagde i 1523 på hjørnet af Kompagnistræde.
Der var dengang masser af private hestetrukne møller i byen, især på bryggerierne, hvor der skulle males meget korn til fremstilling af malt.
I 1682 var der 86 hestemøller i København, heraf alene 21 i Nørregade. Andre lå i forbindelse med bagerierne og nogle blev brugt til knusning af bark til fremstilling af garvesyre, som blev brugt af garverierne.
Gaden har også haft andre navne, f.eks. Kattesundet, som den ligger i forlængelse af, og Vandmøllestræde, der formentlig også var et tidligere navn for Gåsegade.
I gaden lå omkring 1490 klosteret Munkegården.
Henover gaden gik i begyndelsen af 1900-tallet en lukket gangbro (billedet øverst på siden) mellem fængselsbygningen i Slutterigade og Københavns Politi- og Kriminalrets kontorlokaler, som lå i ejendommen Hestemøllestræde 4. Denne bygning var opført omkring 1859 af arkitekten Christian Hansen (1803-1883)