Construit au 14è siècle, le château de ROGER a fait l’objet de plusieurs modifications et ce, jusqu’au 19è siècle. Au Moyen-Age, il était fortifié avec une enceinte de pierres de taille et une « maison-forte » en briques qui date vraisemblablement du 15è siècle.
Aux 16è et 17è, cette partie est agrandie à l’ouest, avec un étage supplémentaire sur les deux parties existantes et la construction d’une tour d’angle ronde munie de canonnières. Des croisées sont également ouvertes sur le Lot.
On dit que « les peuples heureux n’ont pas d’histoire ». Il en va de même pour le château de ROGER. En effet, dans toute l’existence tourmentée du Villeneuvois depuis le Moyen-Age, il est très peu mentionné, en raison sans doute, de son peu d’importance et de sa situation géographique si on le compare à celles des châteaux de PUJOLS, de PENNE, ou même de TEYSSONAT.
Implanté au bord du Lot où le trafic fluvial entre CAHORS et la GARONNE est important sous l’ancien Régime, il a pour mission outre la surveillance de percevoir un droit de passage. En effet, le seigneur de ROGER, au titre de droits féodeaux, percevait une contribution pour tout franchissement du fleuve: deux écus par an en 1594, puis trois livres-tournois en 1657. Ce revenu complétait les autres ressources de la seigneurie (redevances des tenanciers qui cultivent les terres, les profits des métairies…)
En 1962 la Ville de Villeneuve-Sur-Lot acquiert le château de ROGER. Aujourd’hui le site de ROGE (le R ayant disparu) est l’un des plus beaux espaces naturels du territoire Villeneuvois. Espace public de loisirs, on peut aussi s’adonner aux sports nautiques et équestres. Le château peut également être loué pour des événements spécifiques.