Die erste urkundliche Erwähnung der „villa Cholmuntz“ in der „Prima Fundacio“ aus dem Jahre 1112 betrifft den Meierhof im heutigen Kollmitzdörfl. Die spätere Nennung eines „Hermann der Ritter von Chalmunze“ von 1135 n. Chr. bezieht sich wahrscheinlich auf die Altburgstelle Hauenstein am westlichen Thayaufer.
Bereits 1293 n. Chr. tritt ein „Eberhard II von Wallsee“ als Besitzer der im Osten gegenüberliegenden neu errichteten Burg Kollmitz auf. Die erste Bauetappe der Hochburg auf dem steilen östlichen Felsengrat ist nach Ausweis des Mauerwerks in die zweite Hälfte des 13. Jahrhunderts zu datieren. Der nördlich anschließende Bergfried wurde laut dendrochronologischer Untersuchung um 1320 erbaut. Die „Veste zu Cholmuntz“ gelangte im Jahre 1411 an das Adelsgeschlecht der Hofkirchner aus Bayern. Die Freiherren errichteten nach den Hussitenkriegen, die von 1419 bis 1436 in unserer Gegend wüteten, die nördliche sogar gegen Feuerwaffen wehrhafte Vorburg mit der Böhmischen Mauer. Am 12. September 1620 verfügte Kaiser Ferdinand II die Ächtung des protestantischen Georg von Hofkirchen sowie dessen Enteignung und den sofortigen Landesverweis. Im Jahre 1708 verkaufte Abt Ambros vom Kloster Pernegg die stark verschuldete Herrschaft Kollmitz an Franz Anton Edlen von Quarient und Raall, Besitzer der Herrschaft Raabs. Damit erfüllte sich das Schicksal der Burg, denn sie blieb unbewohnt und verfiel allmählich. Als die Freiherren von Bartenstein 1760 Besitzer von Raabs wurden, wohnte nur mehr der Revierjäger mit seiner Familie in der „Thorwärterwohnung“.
Weder Kriege, Pestepidemien und Hungersnöte konnten diese einst so stolze Burg zerstören. Ganz alleine die Maßlosigkeit des Menschen vernichtet seine eigenen Werke.