A partir d’une histoire type, une Piéta (Marie assise tenant le Christ mort) découverte au début du XVIe siècle sur un ormeau (d’où le nom de l’Ormette) s’installe un lieu de dévotion mariale qui reçoit en 1601 une belle chapelle et une hôtellerie destinée à accueillir les nombreux pèlerins.
Dans la vague de la Contre-Réforme, le culte à Notre Dame de l'Ormette, connaît une certaine importance au XVIIe siècle. Les pèlerins affluent.
La période révolutionnaire suspend les pèlerinages. Le 12 octobre 1795 sa destruction est décidée.
Après près de 70 ans, dans le contexte de l'Ordre Moral, encouragé par les succès de Lourdes et de Pibrac, le 23 avril 1863, l'archevêque de Toulouse béni la première pierre de l'actuelle chapelle qui sera achevée en 1868.
Arsène Robert peint l'intérieur, Derrac et Périssé construisent le portail dans le goût néo-roman avec des chapiteaux en terre cuite moulées. Les deux grands tableaux que l'on peut voir orner ce charmant édifice réalisés en 1854, étaient auparavant à l'église paroissiale et sont les œuvres du même Robert.
Si l'actuelle chapelle présente une aspect extérieur très traditionnel avec son clocher mur, l'intérieur, chargé, est typique du style Saint-Sulpicien. L'édifice présente un réel intérêt architectural, évoque à la fois une antique tradition mariale et l'architecture religieuse de la second partie du XIXe siècle.