Vejen er opkaldt efter Vesteragrene, som var navnet på markerne i Vogmandsmarken.
Vestagervej blev anlagt kort efter 1900 som en del af udstykningen af Ryvangskvarteret.
Vestagervej 3 et tegnet i 1914 af arkitekten Andreas Fussing (1871-1958) til sig selv.
Vestagervej 5, der ligger ud til den runde plads der udgør krydset med Engskiftevej, er opført i 1912. Bygherren var grosserer Emil Hertz og villaen blev tegnet af Albert Oppenheim (1879-1956).
Vestagervej 6 er en tidligere staldbygning, der har hørt til Engskiftevej 1.
Grosserer Holger Prior fik i 1914 opført villaen på Vestagervej 11. Arkitekten var Frederik Christensen.
Vestagervej 17 er en villa fra 1924, opført for Egmont H. Petersen. Arkitekten var Hans Søe Jensen.
På Vestagervej 26 ligger en villa, der oprindeligt også var en staldbygning, som hørte til den store ejendom på Svanemøllevej 41. I 1919 blev den ombygget til beboelse af arkitekt Bent Helweg-Møller (1883-1947).
Vestagervej 27 er tegnet i 1913 af arkitekten Carl Petersen (1874-1923) for journalist ved Berlingske Tidende, Svend Poulsen. Hans redaktør, Christian Gulmann, havde nogle år tidligere fået opført en villa på vejen, ud mod den runde plads ved krydset med Engskiftevej.
Vestagervej 29 skyldes arkitekten Johannes Magdahl-Nielsen (1862-1941). Huset blev opført i 1922 for ingeniør Pedersen Krogboe.