Les gens d'ici l'appelaient «jayantière». Ils pensaient que des géants l'avaient construit et y sacrifiaient des jeunes filles, jusqu'à ce que Saint Antonin subtilise la dernière suppliciée à la barbe des géants, qui fous de rage cassèrent la table sacrificielle d'un coup de poing.
Mais on sait que les dolmens sont des constructions mégalithiques préhistoriques constituées d'une ou plusieurs grosses dalles (table) posées sur des pierres verticales (pieds) protégées par un amas de pierres et de terre (tumulus) ; le tout formant une chambre servant de sépulture collective à caractère réutilisable ; les défunts étaient déposés dans la chambre par une entrée.
Des gens éclairés ont compris leur valeur le dolmen Peyro Levado est classé Monument Historique en 1886.Il est le dolmen le plus visité du Tarn parmi d'autres à Roussayrolles, Milhars Septfonds, Saint Antonin.
Au 20e siècle des fouilles archéologiques ( Jean Lautier, Bernard Pajot) ont permis de recueillir des éléments de mobilier et de parure(perles en pierre, canines de chien..) de démontrer que l'entrée du dolmen est à l'Est et qu'un long tumulus complétait l'ensemble mais il est tronqué par le segment de route construit dans les années 1960 ( le dolmen passant de Roussayrolles à Vaour).