Ancien château fort du XVème siècle, il est transformé au XIXème siècle en une bâtisse moins austère de style néogothique et devient un lieu de résidence privé.
L'histoire du château est assez riche puisqu'en 1346, juste avant la bataille de Crécy, le roi Edouard III y fut tenu en échec. En 1415, c'est au tour du roi d'Angleterre Henri V d'échouer à s'en emparer avant la bataille d'Azincourt.
Plusieurs illustres personnes y séjournèrent : La reine Eléronore et le dauphin en 1531, Henri II en 1594, Marie Stuart en 1564, Henri IV en 1594 et Richelieu en 1638.
Victor Hugo s'y est aussi intéressé et en fera un dessin.
Classé et protégé au titre des monuments historiques en 1993, le château est malheureusement laissé à l'abandon par ses derniers acquéreurs qui refusent de vendre à la commune malgré plusieurs propositions tout à fait raisonnables. L'état se dégrade donc petit à petit et, devenu inhabité, il est régulièrement "visité" en mode urbex ou par les jeunes du village qui profitent du calme des lieux pour diverses activités plus ou moins douteuses... C'est pendant l'un de ces "visites" nocturnes dans la nuit du 13 au 14 août 2012 qu'un incendie se déclare et que le château est dévasté.
En 2015 la municipalité réussit enfin à devenir propriétaire des lieux. Une association se crée ensuite pour oeuvrer à la sauvegarde des ruines. Celles-ci sont enfin stabilisées. Depuis 2020, quelques animations se déroulent dans le parc et le projet d'ouvrir le domaine au public plus largement fait son chemin et devient de plus en plus plausible dans un avenir proche.
Quelques images (pour en voir davantage, visitez le site source : https://www.chateau-pont-remy.com/historique/xx/
