Au début du XXe siècle, Eugénie Bardet, jeune chanteuse originaire de la commune de Mainsat, monte à Paris pour faire carrière. Si elle n'y trouve pas la célébrité, elle rencontre un industriel russe qui devient son protecteur et lui fait construire le château. Doté d'un mobilier luxueux et de superbes jardins aménagés, le château va connaître son heure de gloire pendant une dizaine d'années. Fêtes et réceptions, ces mondanités ont un coût et Eugénie Bardet ne peut continuer longtemps ce train de vie
En 1939, le château est loué à l’OSE (Œuvre de secours aux enfants) : il fait partie des trois maisons creusoises où cette organisation d’entraide humanitaire de la communauté juive abritera des centaines d’enfants et familles juifs. À Chaumont, l’établissement est dirigé par Lotte Schwarz.
Durant cette période la Creuse a accueilli pendant le conflit environ 3.000 juifs dont 1.000 enfants à Chaumont.
À la mort d‘Eugénie Bardet, ses héritiers décident de vendre le château. En 1967, Jean-François Mironnet, intendant de Coco Chanel, l’achète par adjudication. Il y vivra plus ou moins régulièrement avec son épouse et son fils et le château retrouvera ses mondanités d'antan Jusqu’à ce qu’un incendie ravage la demeure une nuit de février 1986.
Depuis, malgré plusieurs rachats successifs, le château n’a jamais retrouvé vie.
Le mémorial fut érigé le 10 mai 1995 en hommage à la population creusoise qui a aidé et sauvé des familles juives. Parmi ces enfants, le jeune Judka Herpstu connu bien plus tard sous le nom de Popeck. L’humoriste reviendra sur les lieux pour l’inauguration du mémorial.
Le 17 juillet 2018 a l’occasion des 76 ans d’une rafle de six adultes et trois enfants juifs qui avaient trouvé refuge au château de Chaumont une deuxième stèle c’est installé à côté de la première. A l’occasion tous les descendants de ces victimes sont venus, certains des Etats-Unis ou d'Israël pour rendre un dernier hommage à leurs parents.