Le duc devait, en attendant que le vétuste Palais des comtes du Poitou situé sur le plateau fût remis en état, s'y aménager une vaste et élégante résidence, avec jardins, bassins pour les cygnes.
Hélas le château du duc de Berry pourtant sorti intact des dernières guerres du Moyen-Age, ne devait pas résister aux troubles des guerres de religion. Il fut la victime de l'antagonisme qui opposa, entre 1585 et 1594, les catholiques extrémistes regroupés dans la Ligue, qui dominaient alors le Corps de ville, et le représentant du roi qui y tenait garnison, car ceux-ci reprochaient au pouvoir de ne pas mettre en oeuvre une politique d'extermination des hérétiques.
En 1591 les ligueurs s'attaquèrent au nouveau gouverneur, Boisséguin, qui ne leur était pas acquis, et lui enlevèrent le château qu'ils commencèrent à démolir. Il ne fut pas restauré et ses ruines devinrent dès lors, et jusqu'au milieu du siècle dernier, une carrière de pierre.
Il n'en subsite plus, au bord du Clain, que la base de deux tours.