Bâti avant le XIIe siècle, le domaine du Vivier tire son nom des nombreux étangs riches en poisson qui parsèment les forêts aux alentours.
Le roi qui marque le plus l'histoire du Vivier est Charles VI. Il y réside dés 1392 alors qu'il sombre dans la folie. Les écrits de l'époque relatent les embellissements que le roi opère sur le domaine et sa passion pour les jeux de carte amenés récemment d'Italie.