Das stattliche Gebäude wurde vom Chef der Floß- und Holzhandels-Compagnie Johann Martin Vischer nach Plänen des Stuttgarter Herzoglichen Oberbaudirektors Reinhard Fischer errichtet.
Einige Innenräume sind in ihrem ursprünglichen Zustand erhalten und geben Einblick in die gehobene Wohnkultur der damaligen Zeit.
Das Museum zeigt in 18 Räumen Sehenswertes zur Stadtgeschichte, informiert über besondere Ereignisse und stellt wichtige Personen vor.