Jægersborg Dyrehave blev anlagt i 1670’erne som jagtterræn for kongen.
Skoven blev indrettet til den såkaldte parforcejagt, hvor dyrene udmattes. En vigtig del af denne jagtform, var at kongen kunne sidde midt i et stjerneformet system af jagtveje og iagttage jagtens forløb, for til sidst at kunne give de jagede dyr nådesstødet.
Midt i stjernen blev der i 1694 opført en jagthytte, en erimetage, som egentlig betyder en hytte for en eneboer.
Hytten blev dog mest brugt til at indtage måltider under jagten. Derfor var den i to etager, så køkken og servering kunne foregå i stuen, mens spisningen foregik på 1. sal. Spisebordet kunne endda dækkes i køkkenetagen og med en elevator hejses på til spisesalen ovenpå.
Den første jagthytte blev kaldt Hubertushuset og var formentlig opført af arkitekten og bygmesteren Hans Steenwinckel.
I midten af 1730’erne lod kong Christian den 6. hytten rive ned, og fik i stedet opført det nuværende jagtslot på stedet. Det kom til at ligge på det højeste punkt i dyrehaven.
Slottets arkitekt var Laurids de Thurah (1700-1759) og han tegnede det i rokokostil.
Han videreførte princippet om, at man kunne opholde sig “en eremitage”, altså i afsondrethed. Derfor var der ingen tjenestefolk i nærheden, og maden blev hejst op fra køkkenet i kælderen.
Eremitageslottet er rigt dekoreret med motiver fra jagtens verden og den græske mytologi, f.eks. jagtens gudinde Diana.
Indvendigt var slottet også udsmykket med jagtmotiver.
Eremitageslottet blev fortrinsvis brugt i forbindelse med jagter, men af og til var er også besøg af f.eks. udenlandske statsoverhoveder. Frederik den 7., der i perioder havde residens på Skodsborg, holdt ved flere lejligheder sit statsråd på Eremitageslottet.
I slutningen af 1800-tallet var der en offentlig restaurant på slottet.
