Déchu de ses droits, le propriétaire le vend à un proche en 1807, Dupeiron de la Coste, directeur de la Monnaie. En 1863, son descendant lègue sa fortune à un neveu, le général Baret de Rouvray. Une de ses filles, Marguerite, épousa le comte Elzéar de Tristan, dont les descendants détiennent toujours le château.
Le bâtiment semble remonter au XVe siècle. Accolé à la partie ancienne, un pavillon classique a été construit sur la façade sud du château (fin XVIIe - début XVIIIe siècles), la partie la plus ancienne présente un logis quadrangulaire de trois étages à haut comble, flanqué de cinq tours circulaires: celle du nord-ouest, dite à la lanterne est couronnée en hourdis, celle du nord-est abrite un oratoire voûté décoré de peintures murales. Une aile à deux étages et toit brisé a été ajoutée au XVIIe siècle.