Navnet virker selvmodsigende, for i dag er Smallegade en forholdsvis bred gade.
Men navnet skal nok ses i sammenhæng med den (smallere) Frederiksberg Bredegade.
De to gader løb gennem den tidlige frederiksbergske bebyggelse, der lå mellem gadekæret ved Andebakkesti og et gadekær på pladsen foran Frederiksberg Rådhus.
På kortet herunder fra 1848 ses Smallegade i midten og Bredegaden nederst. Den øverste vej er Lampevejen, den nuværende Howitzvej.
Smallegade er forlængelsen af Gammel Kongevej og dermed en del af den gamle kongelige vej mellem København og Roskilde. Vejen var forbeholdt kongelige og offentlige transporter, og måtte ikke bruges af private.
I den østlige ende af Smallegade lå på nordsiden Møstings Hus, der blev bygget som landvilla omkring 1800 og fra 1809 ejet af finansminister Johan Sigismund Møsting.
Huset blev – ligesom Bakkehuset – et samlingssted for tidens kulturpersonligheder.
I 1950’erne blev Smallegade udvidet og huset lå “i vejen” for trafikken. Det blev derfor revet ned i 1959 og genopført ved Andebakkesti.
På grunden blev i stedet opført Rialto-Centret, der er en ejendom med forretninger, kontorer og biograf.
Passagen mellem Smallegade 38-40 og Howitzvej hed tidligere Edithsvej, men blev måske omdøbt for at undgå forveksling med Edithsvej i Charlottenlund. Passagen er nu en del af hhv. Smallegade og Howitzvej.