Die Favorite wurde in den Jahren 1717 bis 1723 im Auftrag von Herzog Eberhard Ludwig nach Plänen des Hofbaumeisters Donato Giuseppe Frisoni errichtet. Sie war nicht für längere Aufenthalte gedacht, sondern diente als Blickfang, der die Hauptachse Ludwigsburgs im Norden abschließen sollte.
Genutzt wurde das barocke Schloss ansonsten bei Jagden und als sommerliche Villa. Aus der Beletage genoss man einen ausgezeichneten Ausblick.
Im Jahr 1748 bildete das Schloss die Kulisse für ein prächtiges Feuerwerk bei der Hochzeit Herzog Carl Eugens mit Elisabeth Friederike von Brandenburg-Bayreuth.
Carl Eugen war es auch, der die Fasanerie verlegte und weiße Hirsche im Park ansiedelte.
Herzog Friedrich II., ab 1806 Württembergs erster König, ließ bald nach seinem Regierungsantritt den Park in einen Tiergarten mit Damwild, Gemsen und Axishirschen umgestalten.
