La présence d'un château déjà ancien est attestée en 1360, date à laquelle surgit une contestation entre le sire de Mont-Saint-Jean et son vassal de Missery à propos de sa fortification. Puis il en est à nouveau question en 1460 alors que le fief constitue l'essentiel de la dotation de l'hôpital de Dracy-Saint-Loup. A la fin du XVe siècle, il est acquis par Jean de Malain. Les Malain s'y maintiennent jusqu'à la fin du XVIe siècle, il passe, par héritage, à François de La Plume et, par mariage, à Bernard Bernard, président au Parlement de Bourgogne, auquel succède en 1710 son neveu. En 1753, le domaine saisi, est adjugé à Jean-Claude-Baptiste de suremain de Flammerans, conseiller au Parlement de Bourgogne, qui rase la forteresse médiévale, en bon état, et bâtit un château achevé en 1762. Ses héritiers le conservent jusqu'en 1921.
Source : Dictionnaire des Châteaux de France, Bourgogne et Nivernais, Françoise Vignier.