I begyndelsen af 1600-tallet formedes planerne om en ny befæstningsring rundt om København. Ringen skulle mod nord have et citadel, altså en befæstet stilling med bygninger, hvor f.eks. kongen kan søge tilflugt.
Arbejdet med anlægget af skansen begyndte 1627-1630, men gik i stå. Kong Frederik den 3. genoptog planerne efter svenskernes belejring af København, og satte den hollandske fæstningsingeniør Heinrich Rüse til at opføre et nyt fæstningsanlæg.
En styrke på 6.400 mand blev udkommanderet til arbejdet med anlægget, der kom til at koste 130.000 rigsdaler.
I 1664 stod det nye anlæg færdigt. Det fik navnet Citadellet Frederikshavn. Her blev en stor styrke på flere tusind soldater indkvarteret. De var en del af forudsætningen for, at den enevældige konge kunne markere sin magtposition. Københavns Kommandant fik sit kvarter på Kastellet.
Det nye Citadel var foreslået som et anlæg, hvor der var plads til såvel et kongeslot og en kirke.
Slottet blev tegnet af Heinrich Rüse, og skulle være et anseeligt, firefløjet bygningsværk i fem etager. Slottet blev påbegyndt men aldrig færdiggjort.
Også en kirke (Kastelkirken) var en del af den oprindelige plan for Kastellet, men den kom først til senere.
Bag kirken blev der indrettet et fængsel primært for soldater, der havde forsøgt at desertere, men også “prominente” fanger, som Peder Griffenfeldt, der var anklaget for majestætsfornærmelse og forræderi.
Også en negerkonge fra den danske koloni i Guinea, som havde skåret halsen over på to børn og derfor var blevet dødsdømt, har siddet i fængslet.
Der var fra fængslet huller ind til kirkerummet, så fangerne kunne overvære gudstjenesten.
Ved siden af hovedvagten ved Kongeporten ligger en nyere arrestbygning fra 1874. Den blev efter Besættelsestiden brugt til at internere tyske officerer, og f.eks. den tyske rigsbefuldmægtigede, Werner Best.
Kastellet har to adgangsveje med hver sin portbygning. Mod nord ligger Norgesporten (billedet herover) og mod syd Kongeporten (herunder).
Kongeporten kaldes også Sjællandsporten, fordi adgangevejen fører over den Sjællands Ravelin, der er en ø i voldgraven. Kongeporten regnes for den fineste af de to porte.
I Kongeporten er der en buste af kong Frederik den 3. og over porten hans monogram og årstallet 1663. Busten er udført af Francois Dieussart.
I porten sidder et ur, der stammer fra Københavns gamle Hovedvagt på Kongens Nytorv.
Kastellet har haft en mølle, som kunne producere mel til soldater og officerer. Den nuværende mølle, der står på Kongens Bastion, er fra 1847.
Fra bastionen fører en bro over til bageriet i den øverste etage i Søndre Magasin, så melet nemt har kunnet transporteres dertil.
På Fyens Ravelin, der ligger på det ydre voldanlæg ud mod Grønningen, ligger et tidligere magasin (herover) for våben der skulle bruges på den ydre del af befæstningen.
Senere har bygningen fungeret som smedje og i en periode som koleralazaret.
Kanonerne, som står på voldanlægget, er støbt i Frederiksværk, og nogle af dem har kongens portræt i relief. Bærehankene forestiller elefanter.
I Flåden var hankene fremstillet som delfiner. Kanonerne står på rapperter – understel – der er malet i de oldenborgske farver, rød og gul.
Kastelsgraven blev i 1800-tallet brugt til skøjteløb om vinteren. Man kunne hos Kastellets kommandant få et adgangstegn, så man kunne færdes på det militære område.
Skøjtebanerne på de københavnske voldanlæg havde hver deres navne i folkemunde, og kastelsgravens blev kaldt “vaniljeisen”
På den vestlige af Kastellets ydre bastioner (den såkaldte “Møens Contregarde”) står Anders Bundgaards (1864-1937) monument fra 1920 over norske, svenske og finske frivillige og faldne i krigene 1848-1850 og 1864 (herover). Det er udformet som et symbolsk gravkammer, hvorpå “Mor Danmark”-figuren står med en fane og et spyd.
Monumentet blev opstillet af Danmarks-Samfundet.
I det nordøstlige hjørne af Kastellets indre gård, blev der i 2011 rejst et mindesmærker for de 100.000 danske soldater, der siden 1948 har været udsendt til missioner i andre dele af verden.
Monumentet er udført af FInn Reinbothe (1953- ) og er i tre dele. På den forreste del står de lande, som danske soldater har været udsendt til. På bageste del står navnene på de, der er faldet i dansk militær tjeneste i udlandet.
I kommandantboligen er der indrettet en udstilling om danske missioner i udlandet.