Près d’une grande demeure bourgeoise construite à la fin du XIXe siècle au centre d’une riche propriété viticole subsistent les vestiges du château de Puygarreau. Le site est le siège d’une ancienne châtellenie, qui est acquise en 1434 par Jean Barbin, avocat du roi au présidial de Poitiers. Ce dernier obtient la permission de "fortifier la très belle maison en façon d’une tour carrée". À sa mort, le fief passe dans la famille de sa femme, Françoise Gillier. Les Gillier sont de riches notables poitevins. Ils ont pu poursuivre les travaux entrepris par Jean Barbin. Les vestiges visibles sur le site témoignent en effet de l'importance des campagnes de construction attribuables à la seconde moitié du XVe siècle. Le château, de plan trapézoïdal, était flanqué sur trois angles de tourelles desservant de somptueux logis adossés aux courtines, et dont il reste le premier niveau, voûté sur croisées d’ogives. Ce château est isolé de la basse-cour par deux lignes de fossés, creusés dans le tuffeau, et dans lesquels ont été aménagées des caves très vastes. Un procès-verbal d’une visite réalisée en 1684 donne une description précise des nombreux communs entourant le château, déjà livré à la ruine.
Il est un des derniers châteaux forts de la région. Il est aussi l'un des plus ouverts. Le château de Puygarreau, sis aux confins de communes de Sossay et Saint-Genest-d'Ambière, propriété de la famille Schyler depuis quatre générations, est de ces éléments du patrimoine privé qui entretiennent avec les habitants du village, voire même des communes alentours, une relation privilégiée.