"A l'est de Saint Affrique, un autre centre de peuplement se constitua autour du ruisseau de Vaylhauzy. Sur la
rive sud, le château de Vailhauzy appartenait au XIIIe siècle à la famille de Naucoules. La demeure fut la propriété
au XVIe siècle de la famille Blanc de Montaigut puis elle passa dans la famille de Solages, par le mariage en 1594,
de Charles de Solages de Saint Jean d'Alzac avec Delphine de Blanc. Les Solages y firent longtemps leur résidence.
En 1740, Antoine Paulin de Solages, marquis de Carmaux, vendit le Château pour 69,000 livres à M. de Peyrot, de
Millau, président trésorier de France à Montauban. Celui ci fut père de Jean François, baron de Brousse, seigneur de
Vailhauzy et de Luganhac, Conseiller au parlement de Toulouse, victime du Tribunal Révolutionnaire de Paris le 16
frimaire an II. Le Château de Vailhauzy qui, dès l'année 1700, était fort délabré, et n'offrait plus que des ruines, a
été reconstruit au XIXe siècle."
