Möglicherweise stammt die Voggenbergmühle schon aus dem 13. Jahrhundert, denn 1251 wird in diesem Gebiet eine "Ysenmuln" erwähnt. Anfang des 16. Jahrhunderts jedenfalls gehörten die Mühle und der Weiler Voggenberg zum Kloster Adelberg. 1523 fordert Abt Leonhard zu Adelberg 200 Gulden von Gregorius Ruf und Jörg Ruchmayer, den Käufern des Voggenberghofs samt der "Routsägmühle daselbst". Der Abt reklamierte diese beträchtliche Summe als Bezahlung ausstehender Lehns-Verbindlichkeiten gegenüber dem Kloster. Schließlich einigte man sich darauf, dass Ruf und Ruchmayer den Hof und die Mühle gegen Bezahlung der alten Schuld als Erblehen erhalten sollten.
1574 kaufte Ulrich Winter aus Mittelweiler die Voggenbergmühle, die kurz zuvor um eine Mahlmühle erweitert worden war. Die Wasser der Rot trieben nun eine Säg- und eine Mahlmühle an. Wie seine Vorgänger zahlte Winter Mühlzins an das Kloster Adelberg. Nach der Schulmeisterbesoldungsordnung aus dem Jahr 1626 hatte der Voggenberg-Müller zu jener Zeit auch noch den Schulmeister mit Hafer und Brot zu versorgen und anlässlich von Kindstaufen, Hochzeiten und Sterbefällen einen Obolus in Form von Wein, Fleisch, Brot, Suppe und ein paar Kreuzern zu leisten.