Gaden fandtes allerede i 1500-tallet, hvor den kaldtes Rosengården eller Byens Stræde.
Før udvidelsen af København bebyggede område i 1600-tallet, gik Københavns østre vold langs Åbenrå og Grønnegade.
Navnet Åbenrå stammer formentlig fra, at der i gaden lå åbne (ubebyggede) grunde – eller “vråer”, som det kaldtes.
Det kan også henvise til en “rad” (række) af boder, dvs. udlejningshuse.
På nordsiden er gaden præget af en række huse, der blev opført efter den store københavnske brand i 1728. De skulle have været nedrevet i 1960’erne i forbindelse med sanering af kvarteret, men blev reddet af en bevaringsplan. Det var et af de første eksempler i Danmark på en bevarende byplan.
I gaden ligger også flere præsteboliger, der hører til Reformert Kirke. Det gælder f.eks. Åbenrå 32-34 (billedet herover), hvor dog Musikhistorisk Museum har haft til huse siden 1948, og Åbenrå 31, der er opført i 1731 af arkitekten Phillip de Lange (1704-1766).