Le premier seigneur aurait été Pierre Pastureau au XVe siècle, père de Guillaume Patureau de Mornay (1466 - 1534), second seigneur du lieu.
Le château a été reconstruit vers 1642 (date pour laquelle une gabare a disparu avec sa cargaison destinée à la construction du château de Mornay). Il fut l'objet de nombreuses ventes dont les actes nous en donnent une bonne description.
Entre deux grosses tours à mâchicoulis du XVIe siècle se déploie une galerie. Celle-ci a été peinte au cours du XVIIe siècle d'une série de scènes mythologiques inspirées des Métamorphoses d'Ovide, non sans rappeler celle, du XVIe siècle, au Château d'Oiron. Au XIXe siècle ces peintures étaient attribuées au jeune Nicolas Poussin, ce qui leur avait donné une certaine renommée. Cette attribution est fausse, la qualité des peintures n'étant pas (d'après les photos qui subsistent) d'une qualité suffisante, et surtout la chronologie de Poussin est incompatible avec sa présence dans la région. Les autres pièces étaient meublées et aménagées au XVIIIe siècle, on y conservait des cartons de tapisserie par François Boucher.
En 1947 les peintures de la galerie et les appartements sont détruits par un incendie.
Il est vendu en 1949 et c'est depuis une maison de repos et de convalescence.
Le château, sa porterie, la tour du Chardon et le parc fait l’objet d’une inscription au titre des monuments historiques depuis le 22 août 1949.