Ces ruines sont les vestiges d'un monastère fondé vers 970 par le vicomte Guillaume Sanche et l'abbé bénédictin Garcia, sur le site d'un oratoire érigé en 542. L'édifice a souffert des attaques des troupes protestantes en 1569, avant d'être partiellement restauré et transformé en Château Madiou après la Révolution française.
L'abbaye a été confiée aux Barnabites par Louis XIII, et était sous la juridiction du pape et de l'évêque d'Oloron.
Les vestiges sont constitués de deux sections distinctes à l'ouest et au sud de l'église abbatiale, datant principalement des XIIe, XVe, XVIe et XVIIe siècles. La partie ouest est en ruine et comporte une salle rectangulaire avec une haute tour octogonale et cylindrique.
La section sud, autrefois le réfectoire des Bénédictins, est encore habitée et comprend un bâtiment flanqué de deux pavillons et une construction avec un portail orné. L'église conserve en partie son architecture romane, notamment dans l'abside et les absidioles avec des chapiteaux historiés. La tour du clocher-porche montre des traces d'un système défensif ancien.