Gaden har navn efter søofficeren Olfert Fischer (1747-1829), der som øverstkommanderende i Flåden deltog i slaget på Reden i 1801.
Tidligere havde gaden flere andre navne: Bryggerlængen, Balsamgade og Ulvegade, men i slutningen af 1800-tallet blev nogle af gaderne i Nyboder omdøbt, så de fik navne efter søhelte.
I Olfert Fischersgade 5-9 ligger en række huse, der er lavere end de øvrige i denne del af gaden. De er opført i 1700-tallet.
På hjørnet af Kronprinsessegade ligger en palæagtig ejendom, der er tegnet af arkitekten C. W. Christiansen i 1906 (herunder). Karréen har en irregulær form, på grund af gaden Gammelvagts skrå forløb.
På grunden lå indtil 1905 Søetatens Hospital (herunder), der var opført omkring 1805 af arkitekten Johan Boye Junge Magens (1748-1814).
