L'ancien nom de la commune de Sainte-Adresse était Saint-Denis-Chef-de-Caux, dû à l'église Saint-Denis, près de la mairie.
A l’origine de cette église se profile une personnalité pour le moins originale : l’abbé Duval-Pirou, un ecclésiastique hors norme à la tête d’une coquette fortune, doté d’un sens très pratique, d’un esprit d’entreprise et de rentabilité.
Il édifie la chapelle de Notre Dame des Flots en 1859, situé sur les hauteurs de la commune, près du Pain de Sucre. Elle subit une importante modification en 1861, avec l’ajout de deux petits transepts. La partie sud est dédiée à saint Henri, patron du fils unique de la comtesse de Silveira, mort en 1857. En acceptant d’ajouter une chapelle, le curé de Sainte-Adresse accorde à cette femme malheureuse une immense consolation. Et cela lui permet de faire élever la chapelle Saint-Denis, au nord, dite chapelle du curé, où il désire être enseveli.