Autrefois séparées seulement par La Grande Maine, deux paroisses voisinent, chacune avec son église : Saint-Pierre aux Herbiers, Notre-Dame au Petit-Bourg des Herbiers.
Élevée sur une éminence schisteuse, l’église Notre-Dame succède à un lieu de culte sans doute plus modeste, dépendant du prieuré voisin fondé par l’abbaye de Saint-Michel-en-l’Herm (Vendée). Ses parties les plus anciennes sont datées du XVe siècle.
Au début du XVIIe siècle, une travée est accolée au transept sud, formant ainsi une deuxième nef avec une porte ouvrant sur la place. En 1686, une petite sacristie est ajoutée au sud-est.
Mais en 1792, l’église est vendue comme bien national. Une poterie s’y installe. En 1823, l’édifice est acheté par la commune du Petit-Bourg des Herbiers grâce à un don de Reine-Zénobie d’Escoubleau de Sourdis, Dame d’Ardelay et de l’Etenduère. La paroisse du Petit-Bourg va alors revivre.
En 1883, le monument s’agrandit à l’ouest, avec trois travées supplémentaires et un nouveau clocher. Le projet final, très ambitieux, prévoyait d’abattre l’ancien clocher et de créer une troisième nef au nord. Mais, sans doute faute de moyens suffisants, seule la travée nord-ouest est réalisée. Les derniers travaux importants, en 1962, concernent surtout la rénovation intérieure.
