Le château actuel est un bâtiment du XVIIIe siècle qui est visitable et qui propose une enfilade de pièces décorées dans le goût de l'époque. La vue sur la ville y est imprenable. Les œuvres d'art qu'on peut y trouver vont du Moyen-Âge à nos jours.
Le château a été la propriété du baron Martin (maire de la ville) avant de devenir un musée. Les collections du musée ont été fortement enrichies par le petit-fils du baron, Edmond Pigalle, qui a donné la Dame à l'ombrelle au musée.