Gaden har navn efter Sions Kirke. Navnet har i en periode været stavet med den mere nutidige form Zion.
Ved Sionsgade ligger Strandvejsskolen, hvis bygninger delvist er den tidligere Østre Gasværks Skole fra 1897. Skolen blev opført omkring 1897 og var tegnet af arkitekten Fritz Koch (1857-1905).
Mellem Nyborggade og Sionsgade blev der i 1878 opført Ny Lægeforeningens Boliger til arbejderne på Østre Gasværk. De var i stil med Lægeforeningens boliger i Brumleby på Østerbro. Boligerne blev revet ned i 1950’erne.
Hvor boligerne lå, blev omkring 1960 opført etageejendommene i Vibenshave.