La légende locale veut que saint Roch (1295–1326) ait là fait reculer la peste, mais en attrapant lui-même cette maladie (la statuaire traditionnelle le représente avec son bâton et son chien lui léchant les plaies. Il figure (statue en bois du XIXe siècle) dans l'église Notre-Dame de Villerville : il est devenu le saint patron des Villervillais.
L'histoire religieuse a également retenu le nom de Thomas Jean Montsaint, né à la Ferme de la Bergerie, devenu prêtre et ayant refusé de renier ses convictions lors de la Terreur. Il fut pour cela emprisonné puis exécuté le 2 septembre 1792 à Paris. Il a été canonisé par Pie XI (en 1926) et une plaque commémore son souvenir dans la tour du clocher.
La commune a longtemps aussi été un village de pêcheurs, qui, sur les « plattes de Villerville » (barques à fonds plats), allaient pêcher harengs, soles ou turbots. Une pêche dite « aux guideaux » se faisait au filet tendu sur la moulière. La pêche à pied était également pratiquée (moules, crabes, crevettes…), par les « picoteux » (femmes et enfants le plus souvent). Le produit de la pêche (moules notamment) était ramené à terre dans des charrettes dites « banneaux », tirées par des chevaux.
En 1893, une baleine s'échoue sur la plage. Elle est achetée par Nicolas-Marie Simon, dit Simon-Max, chansonnier et ténor à Paris (Opéra-bouffe), alors propriétaire du casino de Villerville. Après avoir vendu l'huile et la chair de la baleine, il utilise la peau pour y abriter un théâtre assez grand pour accueillir une petite centaine de spectateurs. Le caractère original de ce petit théâtre Baleine contribue à son succès. La baleine est déménagée à Paris (au Casino de Paris), mais elle y brûlera.
