Gaden er opkaldt efter ejendommen Rørholm, der lå her. Det var et landsted, som også blev drevet som gartneri.
Navnet kan været hentet fra en ø eller holm i kanten af søen, som har været bevokset med tagrør.
Rørholms sidste ejer var grosserer Th. Weber, der udstykkede dens jorder. Han foreslog vejnavnene i området, og Webersgade blev opkaldt efter ham.
Ud mod Øster Søgade ligger den herskabelige ejendom Rørholm. Den er tegnet af arkitekten Alfred Råvad (1848-1933), og opført omkring 1884.
I dag er gaden hjemsted for mange kunstnere, som har sluttet sig sammen i Kunstnergaden Rørholmsgade.