Gaden har sit navn efter handelsgartner Jørgen Ernst Ohlsen (1814-1862), der havde et gartneri her.
Gartneriet var ét af de førende ikke bare i Danmark, men også i Skandinavien og dets navn blev især kendt efter Ohlsens død, hvor hans enke videreførte det under navnet Ohlsens enke.
J. E. Ohlsens Gade blev anlagt omkring 1900, hvor gartneriet blev nedlagt her. Det blev videreført andre steder, bl.a. i Vangede og Taastrup.
