Die Heidenhöhlen oberhalb von Zizenhausen liegen in einer Steilwand, die aus Sandsteinen der Molasse besteht. Das Sedimentgestein verweist darauf, dass sich hier einst Meeresboden befand. Manchmal kann man sogar noch Haifischzähne entdecken. Die Höhlen sind künstlich angelegt. Aber bis heute weiß niemand, wer die ursprünglichen Erbauer waren. Zufallsfunde von Münzen verweisen bis in die römische Zeit. Später rankten sich allerlei Legenden um angebliche Bewohner, die hier in bitterer Armut gehaust haben sollen. Spuren verweisen jedenfalls darauf, dass in den kühlen Höhlen Fässer gelagert wurden, es wurden auch Reste von ungebrannter Töpferware gefunden. Ob es sich bei Aushöhlungen und Einkerbungen, wie manchmal vermutet, um Sitzgelegenheiten oder womöglich um Aufbewahrungsorte für Waffen und andere Gerätschaften gehandelt hat, bleibt ein Geheimnis. Denkbar ist auch, dass an einigen Stellen der Wand Sandstein abgebaut wurde, um Baumaterial zur Verfügung zu haben. Dieses Material wurde wegen seiner Nähe zum gleichnamigen Hof auch "Berlinger Stein" genannt.
Die Heidenhöhlen sind heute ein geschütztes Naturdenkmal.
