A l'origine, Floyrac fut le domaine agricole des Mandaviale, puis des Cassan de Floyrac. Cette dernière famille, anoblie par l'acquisition de charges, construira le château actuel vers 1670. L'architecture du château, couvert de toitures "à l'impériale", et les aménagements du parc portent l'esprit "aimant" du XVIIième siècle. La grande grille d'entrée porte les armes de la famille Cassan de Floyrac : un chien "chassant" (en occitan "caçant"). Cette famille restera propriétaire du château jusqu'en 1886. Durant l'occupation de la France par l'Allemagne, l'association d'aide sociale à l'armée, installe dans le château un centre de vacances pour les enfants des militaires de la zone occupée. En 1973 le Département rachète le château et lui conserve sa vocation d'accueil des enfants en y logeant le Foyer départemental de l'enfance.