Pile Allé har formentlig fået sit navn i 1780’erne, fordi vejen var været beplantet med piletræer.
Vejen var tidligt en del af vejen til Frederiksberg Slot, der blev anlagt sidst i 1600-tallet.
Langs Pile Allé lå en række boliger til personalet på Frederiksberg Slot. I midten af 1800-tallet blev flere af dem omdannet til forlystelseshaver og traktørsteder, som Hansens Gamle Familiehave, M. G. Petersens Familiehave og Krøgers Familiehave, der åbnede i årene fra 1850 til 1864.
Haverne var drevet af ansatte ved slottet. F.eks. var Mads Petersen og Krøger slotsvægtere.
I udkanten af Frederiksberg Have opførte en italiensk billedhugger, Agostino Taddei i begyndelsen af 1800-tallet en pavillon med udskænkning af “Raffraicssements for de Spadserende” (altså forfriskninger) i haven.
Stedet blev i 1824 overtaget af konditor Anton Joss – der også kaldes Josty, og det blev traktørstedets navn fremover. Han havde i forvejen et konditori i Østergade i den indre København.
De nuværende bygninger er fra omkring 1900, og endnu indtil 1937 var de i Josty-familiens eje.
Ud til Pile Allé har bryggeriet Tuborg i 1993 plantet en labyrint af bøgetræer. Set fra luften er den udformet som etiketten på en ølflaske.
På hjørnet af Frederiksberg Allé ligger Frederiksberg Kirke fra 1734. Ved siden af – i Pilestræde 1 – ligger præstegården, der er opført i 1825.
På Pile Allé 3 lå Frederiksbergs første skole fra omkring 1736. Her gik digteren Adam Oehlensläger i skole som barn. Bygningen eksisterer ikke mere, men blev i 1912 erstattet af den nuværende menighedsbygning til Frederiksberg Kirke.
