C'est sur une ancienne poype que fut érigé, probablement en des temps très reculés, un petit château de brique.
La seigneurie de Loyes comme l'avance Guichenon était la possession de la très ancienne famille qui portait le nom de cette terre, car, vers 1145 , Bernard de Loyes, chevalier, y était encore possessionné. Vers cette époque le château en appartenait déjà à Étienne II de Villars, père d'Agnès de Villars, qui la porta en dot, en 1187, à Étienne, sire de Thoire-en-Bugey.
En 1227, Étienne, sieur de Thoire-Villars, engagea à Humbert de Beaujeu, pour 408 livres, plusieurs fiefs, entre autres celui du château de Loyes. Cet engagement fut reconnu, au mois de mars 1253, par Béatrix de Faucigny, veuve d'Étienne, et au mois d'août 1274, par Humbert III, son fils.
Il est très probable que pendant la période qui s'écoula de 1227 à 1253, les sires de Beaujeu cédèrent leurs droits sur le château, car Guillaume de la Palud, prévôt de Fourvières, après en avoir joui pendant quelques années, le lègue, par testament, en 1243, à Gui de la Palud, son neveu, chanoine de Lyon.
Le 10 avril 1331, Humbert V de Thoire-Villars donna à Humbert VI, son fils, en l'émancipant, sa ville et son château de Loyes, qu'Humbert VII vendit, le 29 octobre 1402, à Amédée VIII de Savoie, s'en réservant néanmoins la jouissance jusqu'à sa mort, survenue le 7 mai 1423.
Le 26 juin 1432, Amédée VIII inféode la seigneurie de Loyes à Philippe de Lévis, vicomte de Lautrec, qui la transmet à Jean de Lévis, son fils. Amédée IX de Savoie la rachète à Jean de Lévis, le 1er février 1469. Le duc Philibert Ier de Savoie l'inféoda de nouveau, le 19 novembre 1497, avec Villars et Gourdans, à René, bâtard de Savoie, sur qui elle fut confisquée quelques années après, puis donnée, le 5 mai 1505, à Marguerite d'Autriche, douairière de Savoie, qui en jouit jusqu'à sa mort. En 1520, René rentra en possession de Loyes, qu'Henriette, sa petite-fille, porta en mariage à Melchior des Prez, chevalier, dont le fils Emmanuel-Philibert, sans enfant, la laissa à Jacques-Honorat de la Baume, comte de Suze, son neveu. La veuve de ce dernier, Françoise Apronne de Porcelet, la possédait, en 1650, au double titre de donataire et d'héritière.
Après la mort de cette dame, Louis de Suze, évêque de Viviers, et ses autres cohéritiers, la vende, le 4 septembre 1666, à Pierre Perrachon, conseiller du roi. Dans un inventaire daté de 1669, Pierre Perrachon de Varax cite sa maison de Loyes comme « un château de briques tout ruiné ». Cet état est notamment imputable au siège de Loyes de 1599, mené par le roi Henri IV en compagnie du Maréchal de Biron. Alexandre-Louis Perrachon, son fils, comte de Varax, la revendit le 15 mai 1710 à noble Gabriel Dervieu, pour la somme de 27 000 livres, qui la posséda, en titre de baronnie, jusqu'à la Révolution.
Il ne reste aujourd'hui plus rien de cette première demeure qui fut le siège d'une importante seigneurie, dont dépendaient les fiefs et arrières-fiefs de La Pie (Loyes), de Fétan (Villieu), Saint-Eloy, notamment. Les anciens seigneurs de Loyes détenaient sur ces vastes terres les droits de haute, moyenne et basse justice. Un droit de péage sur la rivière d'Ain leur appartint encore à une époque.
Devenu Gabriel Dervieu de Villieu, baron de Loyes, seigneur de Villieu, de la Pie, de Fétan, de Saint-Eloy et de Montmain, il fait bâtir au pied de la poype de Loyes un château neuf, vers 1740. Il réemploya pour cette construction les anciennes fortifications du bourg qui constituent aujourd'hui la façade sud du château, dissimulées sous un crépi et percées de fenêtres.
