Le nom de Touffailles viendrait de « Toufels » qui désignerait un peuple fédéré aux Goths, les Taïfales. Cette origine serait identique à la ville espagnole de Tafalla. Les remparts d'un ancien château médiéval surplombent le village. Une ancienne ferme et une chapelle en sont les vestiges. Sur la commune, qui s'étend sur plus de 10 km, se trouvent plusieurs chapelles : Moissaguel, Saint-Gervais, Sainte-Livrade. La tradition orale veut qu'une chapelle du nom de Sainte-Marthe aurait brûlée au Moyen Âge, à côté du lieu-dit Lacontal près des champs de lavande du Quercy. À Moissaguel, il y a encore 20 ans, deux restes de tours du château médiéval étaient encore droites. Elles ont vu la visite de Simon de Montfort puis pendant la guerre de Cent Ans, une bataille dans la combe des Anglais.