Gaden går i kanten af Nytorv og Gammeltorv, og her lå byens rådhus, før det flyttede til den nuværende Rådhuspladsen.
Den sydlige det hed tidligere Vandmøllestræde efter den vandmølle som lå her. Læs mere om møllen under Vandkunsten.
Selv om navnet Rådhusstræde først nævnes i 1500-tallet, har gadeforløbet formentlig allerede meget tidligt i Københavns historie været forbindelsen mellem havnen ved Gammel Strand og byens torv.
Dens tidligere navn kan have været Ladbrostræde, som dog også siges at være et tidligt navn for Læderstræde. Men det er tænkeligt, at en skibsbro har ligget ved stranden for enden af gaden – i det området hvor Stormbroen ligger nu.