L’ancien château médiéval, aujourd’hui disparu, était depuis le 14ème siècle une possession de la maison de Gaujac, ramage probable des Sabran. Il passa ensuite par mariage à la famille de Sarrats à la fin du 15ème siècle, puis à la famille Rodulphe de Saint Paulet au 16ème. En 1586, Montmorency s’empara de Gaujac et assiégea le château qui résista pendant 14 jours.
Dès lors, deux grandes familles se succèderont à Gaujac.
La famille Piolenc, au 17ème siècle, pour laquelle Gaujac devint une possession d’un ensemble beaucoup plus vaste s’étendant dans la région de Pont Saint Esprit et Orange…
En 1679, Anne de Piolenc l’apporta en dot à Gaspard de La Croix de Castries, baron de Meyrargues et de Collias, sénéchal d’Uzès, chef de la branche cadette de la maison de Castries. Il y fixa la résidence de sa lignée pour trois siècles. Trois siècles au cours desquels, chaque génération apporta sa pierre à l’édifice, sacrifiant l’ancien donjon accolé au sud et remaniant le château dans le goût du 18ème puis du 19ème siècle.
C’est en 1979 que le château, inhabité depuis plusieurs années, fut racheté à René de Castries, membre de l‘Académie française et historien, descendant de cette illustre et ancienne famille de la noblesse de Languedoc qui donna à la France un maréchal et ministre de la marine, un archevêque, plusieurs lieutenants généraux, maréchaux de camps, chevaliers des ordres du roi et gentilshommes de la chambre ainsi que l’épouse d’un président de la République !
La devise « Fidèle à son roi et à l’honneur » ainsi que le blason de la famille portant « d’azur à la croix d’or » ornent encore aujourd’hui un très beau vitrail à l’intérieur du château.