Vejen har navn efter Sundbyøster landsbys lergrave, der lå hvor Lergravsparken ligger i dag. Leret blev bl.a. brugt til at bygge byens huse med.
Indtil 1950’erne gik der langs vejen en åben rende, der førte ud i Øresund. Ved dens udløb dannedes Sundby Sejlforenings Havn (se nærmere under Amager Strandvej).
Ud mod Øresundsvej lå én af Amagers småskove, de såkaldte remiser, der dels tjente som ly for vildtet, dels kunne bruges som sømærke. Stengærdet omkring remisen er i dag bevaret som en del af Lergravsparken.
Ud mod Strandlodsvej lå Sundby Gasværk, hvis gasbeholdere ses på billedet fra 193 herover. Der blev desuden opført et vandtårn.
Omkring vandtårnet blev der i 1904 plantet træer, som var begyndelsen til anlægget Lergravsparken.
Etageejendommene langs Lergravsvej er bygget fra 1930’erne og frem.
