Vejen, der går mellem Classensgade og Strandboulevarden hed oprindeligt Citadelsvej, fordi den førte til den nordlige indgang til fæstningsanlægget Kastellet, der dengang hed Citadellet Frederikshavn.
Omtrent ud for Livjægergade var der et bomhus, hvor man blev opkrævet betaling for at bruge vejen. Indtægterne gik til vejenes vedligeholdelse og til de fattige tjenestefolk på Kastellet.
På Kastelsvej ligger Blindeinstituttet og Døvstummeinstituttets bygninger.
Desuden ligger der flere udenlandske ambassader på vejen.
På Kastelsvej 32 ligger Spaniens ambassade (billedet herunder) i en bygning fra 1912.
Her boede direktøren for Ny Carlsberg Glyptotek, Helge Jacobsen.
De tre villaer på Kastelsvej 36-40 rummer den britiske ambassade. De fashionable huse er opført i årene før 1. Verdenskrig efter tegning af arkitekten Heinrich Hansen (1860-1942) og Thorvald Hundestrup (1869-1931) som boliger for fabrikanter m.m.
Det var nok planen, at de skulle ligge ud til den præsentable Bergensgade, der var tænkt som en mondæn forbindelsesvej via Lipkesgade mellem Classensgade og Østerport. Vejen blev imidlertid aldrig før helt igennem.
I gården til Kastelsvej 18 ligger en udstillingsbygning (herover), som blev opført i 1920 efter tegninger af arkitekterne Einar Madvig og Poul Methling. Bygherren var skibsreder Johan Hansen, der havde en stor, privat kunstsamling.
Samlingen blev dog afhændet i 1930’erne, og værkerne spredt på f.eks. en række museer. Fra 1960 var her magasin for Statens Museum for Kunst og i dag rummer bygningen et privat galleri.
Hans egen villa lå i nr 16, var tegnet af arkitekten Martin Nyrop (1849-1921). Villaen blev revet ned i 1936. I stedet blev beboelsesejendommen på Kastelsvej 20-33 opført.
Kastelsvej 8-16 er opført i 1921 for Københavns Almindelige Boligselskab. Arkitekten var Ivar Bentsen, der her fik placeret en todelt boligblok på den snævre grund. De to blokke ligger i en spids vinkel, med en stor gårdsplads imellem. Den ene del lå ud mod Garnisons Kirkegård.