Construit au XIVe siècle par Gilles de Potelle, le château a conservé son architecture militaire médiévale. En 1490, le fief est cédé à Jean De Carondelet. Cinq siècles plus tard, Potelle appartient toujours à la même famille : les Fremin du Sartel.
Ce château supporta les nombreux incendies du, notamment, aux armées de Louis XI ou de Louis XIV Aux XVIe siècles des modifications furent apportées : galerie rajourtée dans la cour, installation de toitures... En outre, de larges douves sont conservées autour du château, ainsi qu'un superbe parc, une cave voûtée et une chapelle contenant de nombreuses pierre tombales!