Au IVème siècle après J.C, une fortification (qualifiée de "castellum" par les spécialistes) se dressait sur l'éperon rocheux et formait un cap barré sur lequel se trouve l'actuelle chapelle de Notre-Dame du Cayla (cayla signifiant château).
Il y fut d'ailleurs retrouvé quelques monnaies dont un exemplaire de Constantin le jeune (337-340) ainsi qu'un élément de "cingulum", ceinture d'équipement militaire.
Il s'agit plus précisément d'une sorte de ferret permettant aux cordes ou aux lanières de cuir de ne pas s'effilocher.
De plus, vers le IXème siècle, le site aurait pu être, d'après André Soutou, le siège d'une "viguerie carolingienne" (sorte de domaine d'administration du territoire sous Charlemagne) sous le nom de "Firmiacum", mais ceci reste à vérifier.
Concernant les premières mentions écrites, le site est peut-être mentionné dans un acte de 1058 (una vinea que est dicta Al Caira) et il est clairement cité dans un autre acte de 1204 (a la balma que es soz la gleisa dal Castlar) 
Une belle boucle de 4 km pour découvrir cette petite chapelle qui domine la vallée de la sorgue,
il existe des chemins plus courts pour y accéder à vous de voir...

 Une cache