La pose de la première pierre de la chapelle Sainte-Anne a eu lieu le 24 août 1650, jour de la Saint Barthélémy en présence d'Aimé DUPLEX doyen de la paroisse. Un noble de l'époque conseiller du roi aurait fait don du terrain, les habitants ayant fourni tous les matériaux nécessaires à son édification.
Plusieurs légendes expliquent les raisons de l'édification de la chapelle Sainte-Anne. La première raconte qu'une enfant nommée Anne, fille de cultivateurs, a été guérie de sa paralysie des deux jambes après l'apparition de sa Sainte patronne, Sainte-Anne mère de Marie et grand mère de Jésus. La seconde attribue l'existence de la chapelle à un voeu qu'auraient adressé Pierre ALLARDET et Jacques GUERIN, deux marins Jardais, à Sainte-Anne afin qu'elle les sauve d'un naufrage.
Cette seconde légende est accréditée par la présence d'une petite barque suspendue à l'intérieur de la chapelle en ex-voto en bois du XVIIème siècle représentant ALLARDET et GUERIN, selon les noms écrits sur leur chapeau, dans la barque, de chaque côté d'une chemise qui fait office de voile.