Une des légendes locales veut qu'au XIIe siècle des bergers assistent à l'apparition de la Vierge Marie, sur la colline surplombant la ville d'Albi. Et alors qu'il n'y avait rien sur la colline d'autre que des pâturages, ces mêmes bergers auraient ensuite trouvé une statue de la Vierge à l'enfant, statue aujourd'hui exposée au-dessus de l'autel. Un premier sanctuaire, tout juste une minuscule chapelle selon certains, est alors bâti afin de l'abriter. Une église est citée en 1185, lorsqu'elle est élevée au rang d'église paroissiale. Agrandie en 1275, elle devient lieu de pélerinage vers 1410, en raison de la présence d'une source dite "miraculeuse", ainsi que de la statue de la Vierge.