Le château apparait au XII° siècle, possession des comtes de Montbéliard, ils le cède à Nicolas d'Auxelles.Le château a pour mission d'assurer la protection des mines d'argent et de plomb exploitées à ses abords. Un village de mineurs se construit à ses pieds.
A l'extinctio de la famille d'Auxelles, le château passe aus comtes de Ferrettes, puis à la maison d'Autriche qui conservera ce dernier jusqu'à la Révolution.
Néanmoins, on apprend que dès 1458, la forteresse est en ruine, certainemment détruite en même temps que le château de Rougemont (90) par les troupes d'Enguerrand de Coucy.
Le coup de grâce lui est donnée en 1635 par les troupes Suédoise.
Vendu comme bien de la Nation, le château va connaitre une quasi destruction. Ses pierres servant à la construction de plusieurs maison du village.
Il ne subsiste de ce château qu'une motte castralerocheuse recouverte d'eboulis et un fossé présentant par endroit une hauteur de 6 mêtres.
ATTENTION : une partie du site se trouvant à fleur de montagne faite attention à ne pas trop vous approchez afin d'éviter les chutes. Surveiller enfants et animaux.