Domaine des comtes de Chalon, vassaux des ducs de Bourgogne, Orgelet , mentionné pour la première fois en 1227, possède un château jouxté d'un rempart qui descend de celui-ci vers l'église.

Le château comportait une grande tour carrée, une citerne d'eau une basse cour et un jardin. Le tracé des murs du Château n'évoluera que très peu, contrairement aux remparts de la ville qui se développeront jusqu'à comporter plusieurs tours et portes.

Du château ne subsistent que quelques arases de murs et un site magnifique. Mais il reste surtout le sol de l'une des salles du château, qui a été remonté dans l'une des chapelles de l'église. Ce sol est constitué de carreaux vernissés datés du XII ème siècle où apparaissent le duc de Bourgogne et le seigneur d'Orgelet chevauchant ensemble.