Construit au XI° siècle par Louis de Mousson comte de Montbéliard, de Ferrette et d'Altkirch. En 1321, par mariage, le comté passe au marquis de Bade puis en 1333 à la maison d'Autriche.
A la fin du XIV° siècle, on rédige une constitution dîte "coutumier du Rosemont" concernant les règles de justice du comté de concert avec la justice des châteaux de Belfort et de Ferrette. Les affaires étaient jugées en dernier ressort à Rosemont qui possèdait son gibet.
Le château est engagé en 1360 à Pierre de BOLLWILLER, en 1363 à Marguerite de BADE, en 1447 à Erkinger de HUGENHOVEN, en 1456 à Pierre de MORIMONT, en 1457 à Rodolphe de SULTZET, il retourne aux MORIMONT en 1459. La maison d' AUTRICHE de retrouvera la pleine propriété du château qu'en 1563.
En 1365 la place à maille à partie avec la bande d'Arnaud de CERVOLE, en 1375 à celle d'Enguerrand de COUCY, à chaque fois le comté subira les horreurs des routiers.
En 1444, le château est pris par les français. En 1525, c'est la guerre des Paysans ou des Rustauds. Le meneur local Jean André de CHAUX est arrêté à PLOMBIERES (88) par le sire de RIBEAUPIERRE et livré au conte de MORIMONT qui le fera pendre.
Lors de la Guerre de Tente-Ans, en automne 1632, le troupes suédoises s'emparent de la place et la démantèle après s'être livrées aux horreurs habituelles sur les populations.
Le titre de comte de ROSEMONT est aujourd'hui porté par la famille princière de MONACO, les GRIMALDI qui sont les héritiers des seigneurs du lieu.
Les ruines sont dans un état déplorable au point où une grande partie des vestiges ont disparus au cours des vingt dernières années. Toute une partie haute s'est récemment effondrée. Il faut dire que les lieux sont pratiquement inaccessibles.
ATTENTION : Mieux vaut rester en bas. Si vous voulez accèder aux ruines elle-même il faut escalader une pente glssante et instable. Sans moyen de sécurité ce n'est pas conseillé.