Navnets oprindelse er uklart.
Valby Bibliotek havde fra 1901 til huse i den tidligere rytterskole i Skolegade. I 1931 blev der opført en tilbygning, og i 1980’erne blev de adskilte bygninger bundet sammen med en nyere fløj.
Foran indgangen til biblioteket står Gunnar Westmanns (1915-1985) “Gøgeunge”, der er udført i 1963.
Annexstræde 4, der i dag er en del af biblioteket, kaldtes tidligere for “Prinsessens hus”. Her boede en dame, der var lidt af en original, og gik rundt på gaden i prinsessestøj.
På Annexstræde 6 i gården, ligger en bygning, der stammer fra Bryggeriet Phønix. Her har været forskellige småvirksomheder.