Choisi probablement pour la position stratégique que constituent les falaises d'Angles (elles dominent d'environ 50 mètres la vallée de l'Anglin), le château ainsi bâti est cité dès 1025.
Au début du XVe, deux évêques entreprennent de remanier la vieille forteresse. Hugues de Combarel fait édifier un logis d'habitation qui évoque déjà la Renaissance. Le souci d'agrément commence à primer sur le souci de défense. Il modifie aussi le vieux donjon et signe son œuvre en y apposant ses armes sculptées : 3 coquilles Saint-Jacques et une demi-molette d'éperon.
La fin du XVe siècle annonce la fin des beaux jours de la forteresse. Pierre d'Amboise fait construire la résidence épiscopale de Dissay qui est préférée à la châtellenie d'Angles. A cela succèdent les guerres de religion, la fronde. Une expertise sur l'état de la forteresse est commandée en 1708. Le parlement de Paris exempte les évêques de Poitiers de leur devoir d'entretien. En 1792, la forteresse, en ruine, est tout de même confisquée et la commune décide de l'utiliser comme carrière de pierre. Mais l'accès étant tellement difficile et la demande peu importante, les ruines seront sauvées. La commune rachète la forteresse pour le franc symbolique en 1986 et s'emploie à sa sauvegarde.