Navnet på gaden kendes fra begyndelsen af 1600-tallet, men betydningen er uvis.
Måske har det noget at gøre med lavendel-planten, som tidligere voksede på volden for enden af gaden. Gartneren, som gav navn til Værnedamsvej, siges at have haft et gartneri ved voldterrænet ud for Lavendelstræde.
Lavendelstræde kan også være en forvanskning af navnet en person, rådmand Lauritz Vinere, der også kaldtes det mere danskklingende Lasse Vinders. Han ejede nogle grunde i området, hvor gaden ligger.
Lavendelstræde og parallelgaden Farvergade var i slutningen af 1800-tallet præget af bordeller.
