Lors de la colonisation romaine, ce territoire fut rattaché à tribu gauloise des Aletani, qui eut pour capitale la cité gallo-romaine d’Aletanum.
Au Xe siècle, en plaine, fut édifiée une abbaye bénédictine par les moines de Saint-Saturnin-du-Port, maison-mère de Cluny pour toute la partie méridionale du Royaume d'Arles. Un important vignoble fut implanté tout autour et une population de paysans et d'artisans s'installa sous la protection des clunisiens.
Ce fut au cours du XIVe siècle, alors que les papes s'étaient installés à Avignon, que la commune, qui dépendait jusqu'alors du comté de Valentinois, devient une enclave pontificale.
En 1451, des bandes pillardes investissent le village qui est rasé avec son château, son église abbatiale et ses bâtiments conventuels. Pour se protéger, la population et les moines se réfugient derrière l'enceinte de Rousset-les-Vignes. Le danger passé, les Saint-Pantaléonnais retournent chez eux. Mal leur en prit puisque cette fois c'est le baron des Adrets, la terreur des guerres de religion. Ce qui contraignit les habitants à un nouveau retour à Rousset.
J 'ai trouvé des anciennes photos que vous reconnaitrez peut etre en allant sur place.