L’Isle-sur-la-Sorgue tient son nom de la Sorgue qui prend sa source quelques kilomètres en amont à Fontaine-de-Vaucluse. Celle-ci se divise en de multiples canaux , qui font alors apparaître la ville comme un groupement d'îles. Certains l'ont surnommé Venise Comtadine (par référence au Comtat Venaissin, dont L'Isle faisait partie).
Le hameau de Velorgues serait très probablement une ancienne Villa Romaine du type rustique, transformée en Castrum à l’époque féodale. La chapelle St Andéol est cité dès le X°siècle
La petite communauté d’habitants, estimée à 250 âmes, déserta les lieux vers 1380, à la suite du passage des fameux Routiers, terreur de l’époque.
Une légende veut que le dernier des seigneurs de Velorgues fuyant devant une nombreuse bande ennemie, jeta dans un puits un énorme veau en or massif (c’est-à-dire un trésor). Ses gens qui l’aidèrent dans cette tâche, furent rejoints et passés au fil du cimeterre. Notre seigneur s’échappa, mais blessé, mourut sans avoir pu en faire connaître le lieu exact…..