Gaden er opkaldt efter admiral i den danske flåde, Herluf Trolle, der levede i 1500-tallet.
Han er kendt for sin ledelse af et søslag mod den svenske flåde, hvor ca. 300 søfolk omkom. Desuden var han initiativtager til privatskolen Herlufsholm ved Næstved.
Kvarteret i bydelen Gammelholm, har gader der navngivet efter danske søhelte: Tordenskjoldsgade, Peder Skrams Gade, Cort Adelers Gade og Niels Juels Gade.
Hvor Herluf Trolles Gade går i dag, lå tidligere Botanisk Have (markeret med grønt på kortet herover).
I de oprindelige planer for kvarterets bebyggelse, var det meningen at haven skulle blive liggende, men da den fik mulighed for at flytte til Nørrevold, blev der ledige arealer, som kunne frigives til bebyggelse.
Der imod ønskede man at bevare Den Kongelige Mønt (markeret med gult) i kvarteret, men da dens bygning lå uhensigtsmæssigt, blev den nedrevet og erstattet af en ny, der lå langs Herluf Trolles Gade og rundt om hjørnet på Holbergsgade.