Den Grundstein zur Eremitage in Waghäusel legte 1724 Damian Hugo Philipp von Schönborn, Fürstbischof von Speyer. Bereits 1720 hatte er die Residenz von Speyer nach Bruchsal verlegt und dort mit dem Schlossbau begonnen. Damian Hugo überzog das Hochstift Speyer mit einem Alleesystem, das die neue Residenz Bruchsal mit herrschaftlichen Anlagen wie Schloss Kislau und der Eremitage (Rückzugsort und Jagdschloss) verband und den Wald erschloss. Ab 1737 erweiterte der berühmte Barockbaumeister Johann Balthasar Neumann den achteckigen Zentralbau um vier Flügel. Bei der Anlage handelt es sich um ein höchst ansprechendes und originelles Beispiel barocker Schlossarchitektur.