Le 6 août 1001, des pêcheurs lèvent dans leur filet un Christ sans croix dont le genou se met à saigner sous les coups de hache d’un mécréant. Aucun artisan n’est capable de fabriquer une croix pour y déposer ce Christ. Trois ans plus tard, une croix retrouvée en mer s’adapte parfaitement au Christ miraculeux.
La légende du Christ Saint-Sauveur est née, on place ce Christ dans la chapelle, et Dives-sur-Mer devient un lieu de pèlerinage.
Au fil des années, la chapelle se révèle être trop petite. Grâce à la générosité de Guillaume le Conquérant, un édifice de style roman est construit, dont il reste les quatre piliers du chœur, une arcade et une voûte.
Au XIVe siècle, on agrandit l’église dans le style gothique. Pendant les guerres de religion, le Christ disparaît et le pèlerinage prend fin. L'église offre au visiteur de nombreuses curiosités : au-dessus du fronton à l’entrée de l’église, une liste des compagnons de Guillaume le conquérant y figure depuis 1862 ; les vitraux retracent l'histoire du Christ Saint-Sauveur, à l'extérieur, un trou aux lépreux.
L'église Notre-Dame fait l’objet d’un classement au titre des monuments historiques depuis le 4 mai 1888.