Gaden er en af de ældste i middelalderbyen. Den nævnes i 1400-tallet som Pilegården, Pilegårdsstrædet og Pilestrædet.
Navnet stammer måske fra, at der på kirkegården ved Sankt Nikolaj Kirke voksede piletræer, der bl.a. blev brugt til at indhegne haver med.
Her lå hoffets køkkenhave, som der ikke var plads til på Slotsholmen.
Mellem Pilestræde og Købmagergade lå de store adelsgårde, hvor rigets herremænd boede, når de var i København. Her lå også det ene af byens tre klostre Sankt Clara Kloster.
Gaden hed indtil 1881 Springgade på stykket mellem Møntergade og Landemærket. Dette navnet skyldes, at byens avlsgård lå her indtil 1671, og her blev hestene ”bespringet”, dvs. bedækket.
Senere overgik avlsgårdens jord til kirkegården, der hørte til Trinitatis Kirke. Her gik i 1700-tallet bl.a. grise frit rundt.
På hjørnet af Sværtegade lå fra 1610 et kanonstøberi (”gjethus”). Det havde tidligere haft til huse i de Sankt Clara Klosters bygninger. I 1670’erne flyttedes støberiet til Kongens Nytorv, hvor det lå i forbindelse med flådeværftet på Bremerholm. Der er stadig rester af gjethuset i bygningerne Pilestræde 40-44.
I 1894 opstod en plan om at sanere hele kvarteret mellem Pilestræde, Antonigade, Kristen Bernikowsgade og Østergade. Her skulle anlægges det såkaldte Citykvarter.
Fra Pilestræde til Kristen Bernikowsgade skulle der have været anlagt en helt ny gade, Citygade, (tegningen herover). Men fordi én grundejer, Jacob Moresco, ikke vil sælge, blev gaden ikke genneført som planlagt. En lille stump af gaden eksisterer dog som en butiksarkade.
Den nordligste del af Pilestræde, mellem Møntergade og Landemærket, er præget af nyere byggeri. Bl.a. ligger her kontorbygninger for Gutenberghuskoncernen.
Selv om ejendommen på hjørnet af Pilestræde og Antonigade (herover) tilstræber at ligne et hus fra renæissancen, er det opført i 1897-1898.
Bygningen “Cityhus” blev opført i forbindelse med projektet om anlæg af Citygaden, og blev tegnet af arkitekten Rogert Møller (1844-1918).
På Pilestræde 27 sidder en plade, der fortæller om ejendommens beboere i 1600-tallet. Huset er dog opført i slutningen af 1700-tallet.
I Pilestræde 48 opførtes i 1860 en bygning tegnet af H. C. Stilling (1815-1892) for den jødiske pigeskole Carolineskolen (herover). Efter anden verdenskrig flyttede den til Prinsesse Charlottes Gade på Nørrebro og senere til Strandvejen.
Pilestræde 30 er en forretningsejendom, opført omkring 1903 efter tegning af arkitekterne Bernhard og Valdemar Ingemann for firmaet Lund & Lawerentz (tegningen herover).
En del af Pilestræde er en lille plads, opkaldt efter historikeren og undervisningsministeren Nina Bang (1866-1928).
