Elle a été construite en 1136 par les moines bénédictins de THIRON-GARDAIS, auxquels Jérémie de l'ISLE (époux d'une demoiselle GOUET), seigneur de l''ISLE en VENDOMOIS (LISLE sur la R.N. 10 près de VENDOME aujourd'hui), de BROU et de BOIS-RUFFIN, avait donné la terre des MELLERETS, comprenant 6 arpents (1 arpent = 1/2 hectare) de bois dans la forêt de BOIS-RUFFIN (cette terre venait de son épouse).
En 1143, sous l'évêque Geoffroy de LEVES, les religieux de THYRON (aujourd'hui THIRON-GARDAIS) et ceux de Saint Père de Chartres, eurent des différents au sujet des dîmes des Mellerets (Mereleth : ancienne orthographe). L'évêque trancha ainsi : toutes les dîmes de la paroisse d'ARROU, non compris les Mellerets, appartiendraient aux religieux de Saint Père de Chartres.
En 1540, une nouvelle querelle éclate cette fois entre le curé d'ARROU, Martin VALLEE et Jacques d'AVAUGOUR, seigneur de Bois-Ruffin et Courtalain.
Donc, ces deux personnages, le curé et le seigneur se disputaient la propriété de la chapelle, laquelle rapportait des dîmes.
Un compromis intervint le 30 juillet 1540 devant Maître SOUCHAY, notaire à ARROU : la chapelle restait propriété de la paroisse, une autre chapelle fut construite à Bois-Ruffin (qui a servi d'écurie jusqu'à très récemment et que l'on peut toujours voir à droite de l'imposante grille d'entrée). En contre partie, le curé d'ARROU devait dire une messe haute, chaque année, le jour de la translation de Saint-Benoît (translation ; fête qui rappelle chaque année la consécration d'une église à un Saint).
La fête qui s'y déroulait le dimanche d'après cette translation ainsi que la procession ont cessé d'être pratiquées en 1738, par ordonnance de l'Ordinaire (autorité ecclésiastique), en raison des abus qui y avaient lieu, parmi une multitude de gens qui se rendaient à Saint-Benoît ce jour-là. C'était devenu, en effet, une espèce de foire qui n'était pas exempte de débauche. Jusqu'en 1738, on allait en procession de la fontaine qui coulait du vieil arbre jusqu'à la chapelle. L'eau de cette source guérissait les aphtes aussi bien des humains que des bestiaux (fièvre aphteuse des vaches).
En 1792, à la révolution, la chapelle fut vendue à une famille de laboureurs, les DELORME (il y a toujours une famille DELORME qui exploite une ferme dans le hameau de Saint-Benoît). La chapelle servit de grange jusqu'en 1871, c'est à dire pendant 79 ans.
En 1863, elle fut rachetée par le curé DELPUECH d'ARROU, sur ses deniers personnels, pour en faire don à la paroisse. L'acte fut passé devant Maître Eugène LELONG, notaire à ARROU. L'autorisation de l'ouvrir de nouveau au culte fut signée par l'Empereur Napoléon III, à la veille de la chute de Sedan.
Une restauration de l'édifice a été entreprise en 1938 sous l'instingation de l'abbé CHARLES, curé d'ARROU, qui ouvrit une souscription pour couvrir les frais.
Le 24 juillet 1938 fut l'occasion d'une très belle cérémonie dans la chapelle restaurée. Le chemin de croix fut érigé ce jour là. Le petit hameau ne revit depuis longtemps pareille foule.
Le pélerinage avait lieu autrefois le mardi de pâques, il s'interrompit vers les années 1970, à cause du risque d'éffrondement de la chapelle (une poutre maîtresse étant cassée).
En 1990, le Conseil Municipal a fait réaliser des travaux de charpente et de couverture qui s'avéraient indispensables à la sauvegarde de ce monument qui menaçait ruine ; on voyait le jour à travers la toiture.