Hvor gaden ligger i dag, lå en del af det voldanlæg, som fra 1600-tallet omsluttede København. Volden var her fem-ti meter høj og sluttede ved havnen, omtrent hvor Det Kongelige Bibliotek ligger nu.
Langs volden gik en vandfyldt kanal, som enkelte steder er bevaret, f.eks. i søerne i Tivoli og Ørstedsparken. Vejen langs volden kaldtes for Filosofgangen og den var oprindeligt forbeholdt kongehusets køretøjer, på vej til og fra Christiansborg Slot.
Ligesom resten af voldterrænet, var vejen lukket for offentligheden – men det tog københavnerne ikke så tungt. Vejen var et yndet sted at spadsere, og på ydersiden af voldgraven gik en sti, der kaldtes Kirsebærgangen. Her foregik de mere amorøse spadsereture i diskretion.
Mellem Farvergade og Lavendelstræde lå et lille torv, der kaldtes Vestertorv eller Halmtorvet. Allerede i 1705 havde man flyttet handlen med hø og halm udenfor byen, men torvet blev ofte fyldt med mudder og hestenes efterladte gødning. Da anlægget af Københavns Rådhusplads begyndte i 1880’erne, flyttedes handelen med halm til Vesterbro, hvor der blev etableret et nyt Halmtorv.
Langs Vester Voldgade lå flere hoteller, bl.a. Knapstedgaard, der lå hvor Palace Hotel er i dag.
Oppe på volden var der møller, og ud for Farvergade stod Lucie Mølle. Møllen blev nedtaget da volden blev sløjfet og flyttet til Stubmøllevej i Kongens Enghave. Her stod den indtil 1914, hvor den brændte ned.
Voldene blev opgivet i 1857 og fjernet i 1872. Samtidigt forsvandt Vesterport, der lå ved Vester Voldgade. På området, hvor Københavns Rådhus ligger i dag, opførtes en stor bygning til den nordiske udstilling i 1888.
Kortet herover er fra omkring 1870.
De to lurblæsere er udført af Siegfred Wagner (1869-1930), mens Anton Rosen (1859-1928) har tegnet søjlen de står på. Rosen tegnede også det nærliggende Palace Hotel.
Figurerne blev opstillet i anledning af brygger J. C. Jacobsens 100 års fødselsdag.
Folkeviddet siger, at lurene gjalder den dag, hvor en jomfru (over 18 år) går over Rådhuspladsen!
Oprindeligt var det planen, at de to lurblæsere skulle opstillet på Rådhuspladsen ved starten af Vesterbrogade, som en slags portal til byen.
Ud til Vester Voldgades sydlige ende ligger en del af de bygninger, som har hørt til Hestgardekasernen, Civiletatens Materielgård og Fæstningens Materielgård. (Se nærmere under Frederiksholms Kanal).
Karakteristisk er kasernens hømagasin (billedet herover).
Ved siden af kasernebygningene, ligger den langt nyere bygning (herover), der blev opført for Postgirokontoret i 1938. Arkitekten var Thorvald Jørgensen (1867-1946).
På Vester Voldgade 115 (hjørnet af Ny Kongensgade) ligger Mariahjemmets bygning fra 1902 (herover). Hjemmet blev stiftet af det adelige ægtepar Caroline og Holger Stampe-Charisius som en husgerningsskole for unge piger.
På grunden havde tidligere ligget det katolske Sankt Knuds Kapel, der blev nedrevet forud for opførelsen af Mariahjemmets bygning.
I bygningen var også et plejehjem, der blev drevet af Sankt Elisabethsøstrene, men det flyttede i 1919 til Dyvekes Allé på Amager.
På hjørnet af Ny Kongensgade ligger den monumentale bygning, som blev opført omkring 1910 for Dansk Arbejdsgiverforening efter tegninger af arkitekten Axel Berg. På stedet lå tidligere en håndværkerstiftelse, som blev flyttet til Blegdamsvej.
På Vester Voldgade 23-27 ligger Hotel Kong Frederik, der bev grundlagt i 1899 på det sted hvor der tidligere havde ligget et Hotel Hvide Svane. En del af bygningen blev drevet under navnet Hotel Hafnia, som er tegnet af arkitekten Phillip Smidth (1855-1938).