Caspar Frederik Harsdorff var født i 1735. Faderen var en tysk lærer, der boede i København.
Som 19-årig indskrev Caspar sig på det nyoprettede Kunstakademi. Her fik han bl.a. franskmanden Nicolas-Henri Jardin som lærer og han introducerede den unge Harsdorff for den klassicistiske arkitektur.
I årene 1757 til 1762 opholdt Caspar Harsdorff sig i Paris og Rom, hvor han studerede og blev præsenteret for de nye tendenser i arkitekturen.
Hjemvendt til Danmark gjorde han i de følgende år karriere, idet han først blev udnævnt som professor ved akademiet, fra 1764 til kongelige bygningsinspektør og i 1770 som hofbygmester.
I sine første år som arkitekt, var arbejderne fortrinsvis forslag, projekter og interiør- og dekorationsarbejder. Grev A. G. Molktes gravkapel ved Karise kirke, må være hans første egentlige bygningsværk (1766-1767).
Harsdorff udførte omkring 1772 prædikestolen i Vor Frelsers Kirke på Christianshavn.
Han tegnede også et forslag til en helt ny kirke, men det blev der ikke brug for.
Til gengæld var der behov for ombygning af det tidligere operahus i Frederiksstaden, som Harsdorff ændrede, så det kunne bruges til akademi for kadetter. Huset bruges i dag af Østre Landsret.
I begyndelsen af 1770’erne påbegyndte Harsdorff sommerlandstedet Frydenlund for dronning Caroline Mathilde, men det blev aldrig fuldført. Ideen var ellers at skabe et “lysthus” med finurlige døre og smutveje, så beboerne kunne besøge hinanden i diskretion. Huset rummede også en koncertsal.
Også på Frederiksberg Slot arbejdede Harsdorff med at indrette rum til de kongelige fornøjelser. Her blev i kælderetagen indrettet et baderum, der diskret kunne nås fra slottets soveværelser.
I midten af 1770’erne fik Harsdorff en stor opgave med at udbygge og forandre Fredensborg Slot. Slottet fik en ny facade, portfløjen blev fjernet og bygningerne fik tilføjet en ekstra etage. Dermed fik slottet det udseende, vi kender i dag.
Mindre arbejder i disse år var et nyt spir til Kronborg Slot (1775), en port i Prinsens Palæ i København (1775), et væksthus i den botaniske have ved Charlottenborg (1778) og en prædikestol til Vor Frelsers Kirke på Christianshavn (1773).
Harsdorff fik arbejdede i flere omgange med tegninger til et gravkapel ved Roskilde Domkirke for kong Frederik den 5. Det første forslag kom ved kongens død i 1766, men selve kapellet blev først bygget i årene 1774 til 1778. Endelig i 1820’erne måtte arkitekten C. F. Hansen fuldføre det.
En særlig bygningstype var pakhusene ved havnen, som der var godt brug for mod slutningen af 1700-tallet, da Københavns rolle som en international handelsby blev slået fast. Harsdorff tegnede tre pakhuse: Kieler Pakhus (1777-1778), Vestindisk Pakhus (1779-1781) og Det Blå Pakhus (1781-1783).
Casper Frederik Harsdorffs store indsats for det københavnske byggeri var i 1790’erne.
En større ombygning af Amalienborg Slot stod han for i 1794, og den indbefattede den karakteristiske kolonnade mellem Molktes og Schacks palæer.
Ved den fornemme Holmens Kanal, der udviklede sig til en gade for handel- og finansverdenen, byggede Harsdorff først Kurantbanken ved Børsen (1785-1787), Peschiers Palæ i 1796 og til sidst Erichsens Palæ i 1799-1801.
I provinsen virkede Harsdorff kun sjældent. En særlig bygning, var et palæ for russiske prinser, der blev opført i Horsens så tidligt i karrieren som 1780.
Han tegnede herregården Eriksholm (1788) og stod for ombygning af Jomfruens Egede (1797). I Trondheim, som dengang var en af de fjerneste provinser, fik han opført en katedralskole i årene 1777 til 1787.
Harsdorffs nok sidste byggeri var Møstings Hus ved Frederiksberg Have. Det blev opført for finansminister Johan Sigismund Møsting.