Gaden har sit navn, fordi her ligger Valbys gamle rytterskole fra 1722.
En rytterskole er ikke et sted, hvor man lærte at ride, for den var en almindelig skole for børn, og navnet betyder blot, at skolen lå i kongens rytterdistrikt. Kong Frederik den 4. oprettede sådanne skoler i de distrikter i landet, hvorfra han udskrev soldater til hærens rytteri.
I 1800-tallet kom der flere og flere børn i skolen, og der blev ansat en andenlærer, ligesom der blev oprettet en pogeskole for de mindre børn.
I 1876 blev der opført en selvstændig skole (“den grå skole”) på den modsatte side af gaden til undervisning af pigerne. I 1894 kom endnu en skolebygning (“den røde skole”) på Rughavevej til.
Rytterskolen fungerede dog stadig som skole indtil 1901, hvor den blev indrettet til bibliotek. Samtidig var her Teknisk Skole og brandstation.
I den nordlige del af Skolegade lå tidligere en bondegård, hvis stuehus var indrettet til lidt finere folk end bønderne. Her boede en overgang digteren Meir Goldschmidt, indtil gården brændte i 1865 sammen med adskillige andre gårde og huse i byen.
På kong Frederik den 6.’s tid, blev der fra gården leveret smør til hoffet.
Gården flyttedes derefter ud på markerne syd for byen, hvor Københavns Grønttorv senere blev opført.
Ved den sydlige del af Skolegade lå fra 1906 De Danske Bomuldsspinderiers fabriksanlæg (se nærmere under Spinderigade).