Vejen har sit navn, fordi det blev lagt som en kile mellem de to jernbanelinjer, der gik fra Frederiksberg Station mod vest.
Kilevej er formentlig anlagt i midten af 1880’erne, efter at jernbanen til Frederikssund blev indviet i 1879. Vejen var adgangsvej til et gartneri, der lå her.
I slutningen af 1890’erne blev der anlagt kolonihaver på gartneriets areal.
Ved Kilevej ligger i dag en afdeling af Copenhagen Business School (herunder). Huset fra 2006 er tegnet af Lundgaard & Tranberg Arkitekter og har fået navnet “Kilen”.