En novembre 1568 le chapitre de Saint Étienne, propriétaires des terres de Falgarde, cède pour un montant de 31000 livres la seigneurie à François Delpuech riche marchant pastelier.
La seigneurie comprend un vieux château, un moulin à eau et une métairie de soixante arpents.
François Delpuech fait entreprendre le 24 janvier 1574 la construction du château actuel et fait en août 1580 fait démolir l'ancien château.
Il confie la construction à deux maîtres maçons, Raymond de Vaulx et Raymond Huffernec.
Pour sa construction, François Delpuech fera porter 204000 tuiles (la tuilerie du château aujourd'hui en ruine date de la fin du XVIIIéme siècle).
En août 1580 l'édifice est couvert et habitable. A cette époque suite à la découverte de l'indigo et à l'effondrement le prix du Pastel, François Delpuech laissera en suspens la construction d'un second étage et d'une tour au Nord Est. Celle du Nord aurait été démolie pendant la révolution.
Cette construction quadrangulaire, à deux tours carrées, fenêtres à croisillon et portes plein-cintre est d'un style très aéré et lumineux.
Construit en pleine guerres de Religions, c'est un château de plaine, à l'origine entouré de douves. Le caractère défensif est souligné par la présence de tours et de bouches à feux
Trois familles se succéderont comme seigneurs de la commune: Les Delpuech, les Tournemire et les Martin Lacroix
A la révolution c'est le seigneur lui même, Bruno Martin Lacroix qui rédige le cahier de doléances pour la population. En 1783 Bruno Martin Lacroix et son épouse Anne Robert Martin Lacroix sont arrêtés et jetés en prison.
Anne Robert Martin Lacroix réussira l'exploit de s'évader de Saint Sernin transformé en prison et se réfugie chez sa sœur où elle se cache dans les combles