Gaden blev anlagt i 1700-tallet, efter at voldanlægget omkring Christianshavn blev udvidet. Gaden har også heddet Møllegade.
Indtil da var Store Søndervoldstræde byens grænse mod sydøst.
Det høje, hvide pakhus i Lille Søndervoldstræde 3 blev opført til Daniel Løweners jernstøberi (se nærmere under Store Søndervoldstræde).
Ud mod Dronningensgade ligger en nyere bygning, som blev opført i 1960’erne som filmsal for Den Danske Filmskole.
I gaden lå tidligere den såkaldte “Jødens Bule”, som var en tætbefolket ejendom fra første halvdel af 1700-tallet med mange lejligheder. Huset var ejet af en jødisk familie.
I 1880 boede 135 personer i ejendommen. Alene i kælderen var der over ti lejemål, og i én af lejlighederne i huset boede der i 1867 14 beboere. Adgangen til lejlighederne på 1. sal skete ad træstiger fra baggården. Køkken blev delt mellem flere beboere.
Ejendommen blev af sundhedsmyndighederne betragtet som slum, for taget var utæt og afløbene mangelfulde. Huset blev nedrevet i 1890’erne.
