Gaden har sit navn efter den gamle vagtbygning i Nyboder, som lå her.
Vagten, der stadig eksisterer i gaden, blev oprindeligt opført i 1693. Omkring 1790 blev den dog erstattet af den nuværende, som blev tegnet af arkitekten Peter Meyn (1749-1808).
Bag bygningen stod tidligere en klokkestabel.
Gaden er som den eneste i bydelen Ny-København ikke vinkelret på andre gader, men går på skrå.
Det skyldes, at gaden oprindeligt var del af vejen til Helsingør, der forløb fra Kongens Nytorv mod nordvest til Østerport. Gaden skar sig også gennem Nyboder på skrå, men dens forløb her er forsvundet og erstattet af bebyggelse.
Kun Gammelvagt vidner i dag om dette gamle vejforløb. Før i tiden fandtes en anden rest i form at den mindre gade, Helsingørgade, der gik på skrå mellem Adelgade og Borgergade.
Desuden kan det anes i ejendomsskellene i Boltens Gård i Gothersgade, hvor vejen begyndte.
Gadenavnet Gammelvagt er ikke særligt gammelt i forhold til Nyboder-kvarterets høje alder. Gaden hed indtil 1926 Adelgade
