Gaden har navn efter officeren Frederik von Holstein (1771-1853).
Holstein var leder af det frivillige livjægerkorps, som deltog i kampen mod englænderne i 1807. Denne episode er beskrevet under Livjægergade.
I Holsteinsgade 9 er en mindeplade og to indmurede kanonkugler, til minde om den.
Andre gader i kvarteret med relation til begivenheden er Willemoesgade og Steen Billes Gade.
Holstein blev senere chef for Det Kongelige Teater.
Mens de fleste andre gader i kvarteret er lige og vinkelrette, slår Holsteinsgade et knæk i den vestlige ende.
Det skyldes, at gaden følger de ejendomsskel, der opstod i 1600-tallet, og som igen fulgte forløbet af en befæstningslinie mellem en skanse ved Trianglen og kysten.
I Holsteinsgade ligger Langelinieskolen, som er nutidens navn for Holsteinsgades Skole.