Frem til 1867 var området ved Kastelsvej stadig omfattet af demarkationsbestemmelserne, som betød at der ikke måtte bygges faste bygninger umiddelbart foran voldene, der omgav det indre København.
Det Kongelige Døvstummeinstitut fik dog i 1838 en dispensation af kong Frederik den 6., til på Kastelsvej udenfor voldterrænet, at opføre en bygning, der var beregnet for behandling og undervisning af de døvstumme.
Betingelsen var, at bygningen i krigstilfælde kunne bruges militært, og den er derfor formet som en slags fæstning, og dens to fløje ligger i en skarp vinkel.
Bygningen er da også tegnet af en militæringeniør, oberst F. E. von Prangen (1781-1841)
Institutionen for døvstumme blev oprettet på initiativ af en norsk læge, Peter Atke Castberg, i 1807 og lå i starten i Sølvgade. Castberg har givet navn til Castbergsvej i Valby.
Døvstummeinstituttets bygning bruges i dag af Skolen på Kastelsvej, og ligger ved siden af Blindeinstituttet.
Asger Holms Vej, der går mellem de to institutioner, er opkaldt efter Døvstummeinstituttets leder fra 1956 til 1970.