Le château a été construit à l'emplacement d'un ancien fief appartenant au XVIe siècle à la famille Baraton.
Au XVIIe siècle, La Romagère fut transmise par héritage aux Boislinard des Chézeaux qui la conservèrent jusqu'en 1805.
Le château connut différents propriétaires jusqu'à la famille Baubiet qui le possède encore aujourd'hui.
Le château a été bâti au XIXe siècle puis remanié par Trolliet (plan et façade) entre 1891 et 1914.
Une ancienne chapelle dédiée à sainte Anne s'élève à proximité de la demeure.