Le château de Fayolle aurait été construit au XVe siècle par la famille Embemat, premier propriétaire connu du château. Il fut transmis par le biais des alliances à la famille de Couhé de Lusignan, qui en demeura propriétaire jusqu'à la Révolution. Il passa au XIXe siècle à la famille de Boismarin. Il fut transmis au XXe siècle à la famille de L'Hermite qui en est toujours propriétaire. L'édifice primitif a subi différentes transformations au cours des siècles. Le logis rectangulaire reçut au XVIIIe un toit dit "à la Mansart". L'aile gauche qui subsiste, aurait été construite en 1804. La seconde aile, peut être élevée à la même époque, fut détruite en partie en 1943. Il ne subsiste de cette aile qu'un bâtiment accolé au logis et une cave enterrée voûtée située dans le prolongement de ce bâtiment. Les ouvertures du logis et de l'aile gauche ont été remaniées au XXe siècle. Un donjon médiéval a peut-être précédé le château du XVe siècle. L'étang est peut-être antérieur au XIXe siècle.
château de Fayolle 16500 Abzac, propriété privée, ne se visite pas, visible de l'extérieur.