L'histoire du château débute à l'époque romaine par la création d'un camps de transit romain et d'une motte sacrificielle. Puis au IXème siècle suit la construction d'un donjon en bois sur une butte de terre (motte féodale), entouré de palissades élevées. Il faut attendre le XIIIème siècle pour qu'un château en pierre soit construit.
Au XIVème siècle, des tours rondes sont élevées pour protéger l'entrée ouest. La demeure du Seigneur fut agrandie et transformée du XIIIème au Xvème siècle.
Le château servit de carrière au XIXème siècle pour reconstruire les fermes du Baron de Lespinay détruites pendant les guerres de Vendée.
En 1588, Henri IV passa une nuit au château.
En 2002, Jacques de Rougé, propriétaire, crée l’Association des Amis du Vieux château qui fait vivre ce site, au travers de visites guidées, d’animations ponctuelles, avec un seul et unique but,
entretenir, maintenir cette mémoire des pierres bien réelle. Pendant bon nombre d’années, des bénévoles ont mené des missions de préservation des ruines et mis en place de nombreux événements ponctuels.
En Février 2017, le fils de Jacques de Rougé, Stanislas De Rougé contacte « La Comédie des Rêve » ( c'est une compagnie de spectacle basée en Vendée), pour mettre en place une convention d’échange, afin de donner un second souffle au château. C’est alors qu’en Mai 2017 naissent « les balades contées », « La médiévale », « La Nocturne » et l’idée de créer un marché de Noël.