Gaden er opkaldt efter den tysk-danske videnskabsmand Carsten Niebuhr, som på opfordring af kong Frederik den 5. i 1760’erne foretog en videnskabelig ekspedition til de arabiske lande.
Gaden blev anlagt omkring 2009 i forbindelse med opførelsen af en ny bygning for Rigsarkivet. Den er senere forlænget, så den udmunder i Kalvebod Brygge.
Grundejerne foreslog navnet Kalvebod Allé, men kommunen ønskede at gaderne i området skulle opkaldes efter videnskabsmænd. Derfor fik man også navnene Kristian Erslevs Gade og Arni Magnussons Gade.
Hvor Carsten Niebuhrs Gade går, lå tidligere Københavns Godsbanegård.
Endnu i 2019 er der enkelte bygninger tilbage fra jernbanens tid (billedet herunder).
I dag er der udelukkende offentlige institutioner og hoteller langs gaden.
Syd for >Dybbølsbro ligger det store kontorhus Nexus CPH, der er tegnet af arkitektfirmaet Arkitema og opført i 2014 (billedet herover). Her bor Banedanmark, Trafikstyrelsen, Vejdirektoratet, Bygningsstyrelsen og Energistyrelsen og mere end 2.000 mennesker har arbejdsplads i huset. Navnet Nexus betyder knudepunkt og de fire blokke er indbyrdes forbundet med gangbroer.
Ved siden af opfører Ikea i de kommende år et boligvarehus.
Længere ude har Banedanmark og Vejdirektoratet opført Trafiktårnet, hvorfra vej- og jernbanetrafik i det østlige Danmark overvåges. Tårnet er tegnet af Tranberg Arkitekter.