Le premier château est celui que Claude Bouthillier de Chavigny, surintendant des finances de Louis XIII, ayant acheté la seigneurie de Pont, fit construire en 1632 sur les plans de l'architecte Pierre Le Muet.
Le château de Pont-sur-Seine ( Le Petit Parisien illustré, 1894)
Bonaparte offrit le château, qu'il avait connu et apprécié du temps du prince François-Xavier de Saxe, à sa mère, titrée Madame, Mère de l'Empereur, à l'avènement de l'Empire en mai 1804. Ce premier château est incendié en 1814 lors de la Campagne de France sur ordre du prince de Wurtemberg. Le domaine entre dans le patrimoine de la Famille Casimir-Perier, banquiers engagés dans la politique de leur temps. En 1821, Casimir Perier, qui deviendra dix ans plus tard président du Conseil de Louis-Philippe Ier, fait reconstruire le château. Son petit-fils, Jean Casimir-Perier, sera un éphémère président de la République française en 1894-1895 ; il est enterré dans le cimetière de la commune. En 1980 la famille Perier vend le château.