Gaden er opkaldt efter forfatteren Ludvig Holberg (1684-1754), der skrev en række komedier som blev opført på den nærliggende Kongelige Teater.
Den er den gennemgående gade i kvarteret Gammelholm, hvor den forbinder Holmens Kanal og Nyhavn.
Holbergsgade og Heibergsgade er kvarterets eneste, der har fået navn efter en forfatter. De andre gader er opkaldt efter søhelte eller balletmestre.
En af gadens mest utraditionelle bygninger, er Den Kongelige Mønt på hjørnet af Herluf Trolles Gade. Møntproduktion var her allerede i 1700-tallet, men anlægget af Heibergsgade krævede af man rev den gamle møntbygning ned og opførte en ny. Det var kvarterets byplanlægger, Ferdinand Meldahl, der tegnede den nye, der blev opført i 1873.
På hjørnet af Tordenskjoldsgade ligger en gadens nyere bygninger (herover), som skiller sig ud fra de fleste andre i kvarteret. Det er forsikringsselskabets Hafnias kontorhus, der blev opført i 1939 efter tegninger af den norske arkitekt Vilhelm Odland, som forsynede den med et markant tårn. Huset bruges i dag af Forsvarsministeriet.