Kirken er opkaldt efter præsten og forfatteren Nikolaj Frederik Severin Grundtvig (1783-1872).
I mange år diskuterede man, hvordan man kunne sætte et minde over Grundtvig, og blandt de mange forslag var at opføre et tårn.
Arkitekten Peder Vilhelm Jensen-Klint (1853-1930) mente, at til et tårn hører en kirke, så han tegnede det første forslag til en grundtvigskirke i 1913 (tegningen herunder).
Forskellige placeringer blev overvejet, og f.eks. blev det foreslået, at fylde Sankt Jørgens Sø op og bygge kirken der.
Da bydelen Bispebjerg blev bebygget i 1920’erne, var der behov for at bygge en ny kirke, så sognebørnene ikke behøvede at tage den lange vej til Brønshøj Kirke, som distriktet indtil 1927 hørte til.
Man besluttede at Bispebjerg bakke var et passende sted for den nye Grundtvigskirke. Kommunen skænkede en grund på Bispebjerg Bakke til kirkebyggeriet, som til dels blev finansieret ved offentlige midler.
P. V. Jensen-Klint døde dog inden byggeriet var færdigt, så hans søn, Kaare Klint (1888-1954) fuldførte det.
Klint’erne tegnede også kirkens inventar. P. V. Jensen-Klint udformede f.eks. døbefonten, mens Kaare Klint tegnede alterbordet.
Kirken er usædvanlig stor og minder om en gotisk katedral. Længden er 76 meter. Den er bygget udelukkende i gule mursten, og har i sit indre ikke nogle dekorationer – udover de effekter som de 5-6 millioner mursten, der blev brugt til byggeriet, skaber.
Grundtvigskirken havde ved indvielsen mere end 1800 siddepladser. Dermed var kirken ligeså stor som domkirken i København, Vor Frue Kirke.
Grundstenen blev lagt på Grundtvigs fødselsdag den 8. september 1921. I første omgang byggede man det næsten 50 meter høje tårn, som også fungerede som kirkerum, indtil resten af kirken stod færdig i 1940. Derfor er der to prædikestole i hver enden af kirkeskibet.
Rundt om Grundtvigskirken ligger boligbebyggelsen På Bjerget, der delvist også er tegnet af P. V. Jensen-Klint.
I 1938 blev den østlige del af sognet udskilt og Lundehus Kirkes sogn oprettet.
I 1947 blev bydelen Emdrup udskilt fra Bispebjerg sogn som et selvstændigt sogn. Her opførtes Emdrup Kirke i 1961.