Madame Cator, domiciliée à Brignon à partir de 1811 fit construire cette chapelle de style néo- grec sur l’emplacement de l’ancienne église abbatiale. Par décret de Louis Napoléon du 30 Juin 1852 la chapelle de Brignon est érigée en « Oratoire particulier. La chapelle est en bon état en 1860. En 1893, d’après le curé Tranchant : « Elle ne parait même pas assez décente pour le Saint Sacrifice. Le curé Babin écrit en 1928 : les messes « ont été dites pour la dernière fois en 1908. Les honoraires depuis ont été gardés par l’Hospice de Montreuil. La chapelle sans valeur aucune tombe en ruines à ce jour. En 1984 « l’édifice était en ruines : murs délabrés, autel dévasté, voûte et toiture disparues…
Enfin le 19 août 1990 : cérémonie religieuse en forme d’inauguration. La chapelle est entièrement restaurée selon les voeux exprimés par Madame Cator dans son testament par l’association des Amis du Vieux Brignon.