Kirken er opkaldt efter en borg ved Jerusalem. Den længtes jøderne efter, og derfor opstod bevægelsen zionisme. Sion er en ældre form for det mere nutidige Zion.
Sions Kirke blev indviet i 1896 og var Østerbros anden kirke. Den første var Sankt Jakobs Kirke, der er fra 1878. Befolkningsvæksten på Østerbro gjorde det nødvendigt at dele sognet, der allerede dengang havde 11.000 indbyggere.
Arkitekten Valdemar Koch (1852-1902) tegnede kirken, der udelukkende blev opført for privat indsamlede midler. Grunden blev skænket af Københavns Kommune.
Kirken blev kaldt “sølvbryllupskirken”, fordi den blev givet i sølvbryllupsgave til pastor Peter Krag og hans hustru af menigheden i Sankt Jacobs Sogn.
Tårnet blev først bygget omkring 1909.
Altertavlen er udført af Poul Steffensen, der brugte sognebørn som modeller. Loftet over alterrummet er dekoreret af maleren Johannes Krag.
Til kirken hører et menighedshus, der ligger i Nyborggade.
