Vejen har navn efter Kastrupgård, som ligger lige ved siden af.
Kastrupgårdsvej blev navngivet i 1958, efter at Tårnby Kommune havde købt Kastrupgård.
Tidligere hed en vej, der gik fra >Saltværksvej til Ved Diget også Kastrupgårdsvej, men dette vejnavn forsvandt, da vejen blev afløst af en forlængelse af Kastrupvej mod syd.