Au XIIIème siècle (vers 1200-1250), en remplacement de l'ancien château féodal édifié en 1070, Hus de La Muse (ou Mure ou Muce) construit une nouvelle forteresse. C'était en 1612 "plusieurs corps de logis formant deux cours, environnées d'une ceinture d'épaisses et hautes murailles avec leurs tours, esperons, pont-levis, porte et grille de fer ; le tout enfermé par la douve dudit chasteau et la rivière d'Erdre qui y entre. Hors la dite douve il y a jardin, portail et dépendances, plus une deuxiesme douve et fossé où entre encore la rivière d'Erdre ; et hors ladite deuxiesme douve y a bois ancien, terres, prés et mestairie dudit chasteau et une troisiesme douve où entre encore la rivière d'Erdre" (Aveu de la Muce, en 1612). Un manuscrit du XVIIème siècle, conservé au Pont-Hus, donne comme relevant de son autorité, les fiefs de Villeneuve, de Rieux, du Moulin, La Garenne, avec le bourg et Montreuil, aussi le seigneur du Pont-Hus est-il appelé le haut justicier de Nort. Jean Chauvin (fils de Guillaume) est l'époux de Françoise de La Muse. Leur fils Bonaventure, seigneur de La Muse et chambellan d'Henri III, adopte le culte protestant et le château de Ponthus devient alors une annexe de l'église protestante de Nantes (les pasteurs sont Jacques ou Georges de Brissac et Benjamin de Malnoë). Olivier de La Muse (ou Mure ou Muce) s'exila en Amérique et s'établie en Virginie. Le château est démoli sur ordre du roi vers 1622, suite à un arrêt du Parlement de Bretagne en 1622 qui ordonne que ledit château "fut demoly et ruisné et ses bois de haulte fustaye abattuz et coupez à haulteur d'homme pour perpétuelle mémoire de la rebellion et félonnie de David de la Muce, sire dudit lieu" (Vaurigaud, Les Eglises réformées de Bretagne, II, 159). Cet arrêt est exécuté, et en 1667 on ne voit plus au Ponthus qu'un "emplacement de chasteau demoly par la guerre en 1622 avec les anciennes basses-cours formant le chasteau de Ponthus". Ce château, après avoir appartenu pendant quatre siècles aux de La Muse (ou Muce), passe en 1678 à la famille de Goyon de Marcé, par suite d'une alliance. Claude Charles de Goyon, époux de Henriette de La Muse, figure le 6/12/1693 sur le registre de décès de Petit-Mars. En 1773, le marquis Amaury de Goyon reconstruit le château. Une chapelle dédiée à Sainte Catherine est élevée à la même époque (elle est bénite en 1777 en présence de messires Mathurin Uguet, titulaire du bénéfice de la Muce, Bignon, aumônier de la Chauvelière, de Goyon, maréchal de camps des armées du Roi, comte Marcé) et remplace une ancienne chapelle (fondée de cinq messes par semaine et restaurée en 1739) abandonnée par les sires de la Muce devenus huguenots. En 1793, une bataille opposant les républicains et les chouans se déroule au Pont-Hus et le château est en partie brûlé. Le domaine de Ponthus comprenait jadis, "en outre du château, les métairies de la Porte, de la Pierre, de la Hardière et du Rouvray, - l'étang et le moulin de la Fellière, - les étangs du Château et des Hannes et le moulin à eau du Tertre-Rouge, - les moulins à vent de la Chutte, de Jouneau et du Boisabeau, en Petit-Mars, des Buttes et du Mont en Les Touches, - la forêt de Mars et les marais de l'Erdre" (Déclaration de la Muce en 1667). Au début du XXème siècle, le domaine passe par héritage à l'une des branches de la famille de Charette ;