La commune de Villefontaine compta trois châteaux sur son territoire.
Il ne reste, actuellement, que très peu de vestiges de ce château (2 arches soutenant une terrasse).
En 1982 on pouvait encore voir une tour semi-circulaire, très abîmée, dominant un ravin, ainsi que quelques caves voûtées dans les bâtiments des dépendances. Tout a été rasé et comblé pour y asseoir un lotissement.
Ce château appartint à l'illustre famille des Martel.
En 1540, Guigues de Martel, paraît comme seigneur de la maison-forte du Layet au mandement de Fallavier.
Le 24/12/1745, décédera Jean Marie de Martel, seigneur de la maison-forte du Layet. Il fit inhumé le lendemain, jour de Noël, dans la chapelle Notre-Dame, en l'église de Ville.
Le 11/08/1746, décédera à Villefontaine, à l'âge de 52 ans , Noble Jean Gabriel de Martel, né à Plaisance (Italie), seigneur du Layet, Major au régiment de cavalerie de La Rochefoucault.
La demeure passe aux Audiffred. Jean, François, Hugues d'Audiffred, seigneur du Layet, Commandant de place à Briançon, épousa en 1753 Anne Marguerite de Tarneysieu, dame d'Artas.
Au moment de la Révolution il était tenu par la famille de Leyssins.
Il fut pillé, le 28 Juillet 1789, lors de l'épisode de la Grande Peur en Dauphiné.
"Après une première incursion d'une bande d'hommes armés de fusils et de haches au château du Layet, au Vicomte de Leyssins, une cinquantaine d'habitants de St Quentin-Fallavier, localité voisine, s'affairèrent à en déménager les objets de valeur, linge et argenterie, avant que le feu fut mis à l'édifice."
Les Leyssins ayant émigré, il fut ensuite vendu comme Bien National à Jean Baptiste Reynaud Quenin, de Lyon, qui, en 1807, le loua à Claude Lavigne de Villefontaine.
