Rughaven var et indhegnet området udenfor Valby landsby, hvor man har dyrket rug.
Gaden blev anlagt i 1880’erne.
I slutningen af 1898 blev der på hjørnet af Rughavevej og Valby Tingsted opført en skolebygning efter tegninger af arkitekt Ludvig Fenger (1833-1905).
Valbys to ældre skoler i Skolegade havde ikke plads nok til de mange børn, der flyttede til bydelen i slutningen af 1800-tallet, så der var brug for en stor og moderne skolebygning.
Overfor blev der omtrent samtidig bygget en villa som bolig for skoleinspektøren (herover til venstre). Den lå ved siden af gymnastikhuset der hørte til Valby Skoles afdeling fra 1876.
Skolebygningen på Rughavevej bruges i dag af en privatskole, mens Valby Skole er flyttet til en tidligere fabriksbygning på Ved Ovnhallen.