Élevée au XIe siècle sur l'actuelle place de l'Abbé Grelier (dite des Marronniers), la première église menaçant de s'effondrer, sa reconstruction fut entreprise en 1862 en commençant par le clocher, le chœur et les sacristies.
En 1893, on prit la décision de construire un tout nouvel édifice en face de l'ancien, devenu trop dangereux. La nouvelle église de style néogothique fut achevée en 1897 mais, les fonds manquants, on choisit de conserver le clocher neuf de la vieille église. C'est pourquoi le clocher se trouve à 50 mètres de son église.
À l'intérieur de l'église, on trouve l'un des plus anciens vestiges chrétiens de Vendée, une croix mérovingienne du VIe siècle, issue du premier sanctuaire et encastrée dans le mur de la chapelle nord.
Dans cette même chapelle, on peut aussi découvrir un tableau de l'Assomption, signé Lagrenne et classé Monument Historique.
Par ailleurs, l'admirable chemin de croix, qui orne les murs de l'église, a reçu le 1er Prix à l'Exposition Universelle de Paris en 1900. Il a été réalisé par la Maison Beau de Nantes, tout comme les vitraux du chœur.
L'église Notre-Dame abrite enfin, depuis 2003, l'orgue Rémi Mahler dont le pédalier offre sept combinaisons de jeu quand il n'y a, en règle générale, qu'un seul jeu propre au pédalier.
Sur la photo d'archive, on distingue à gauche et au centre la première église de Challans (construite au XIe siècle et rasée en 1899) et à droite le clocher (achevé en 1865). L’église actuelle (achevée en 1897) a été implantée dans le prolongement de l'ancienne église.
Source : https://www.challans.fr/la-ville/patrimoine/l%E2%80%99%C3%A9glise-notre-dame-et-son-clocher