- Aux XVe et XVIe siècles : La construction du manoir débute au xve siècle, sur demande de Jehan de Kergrist et de sa femme Gilette le Cozic. C'est à l'époque un manoir typique de la Renaissance bretonne : une tour octogonale entourée de deux corps de logis principaux. Un passage voûté permettait d'accéder, de la cour intérieure nord, au potager clos situé au sud. Au xvie siècle, une seconde tour s'érige face à la première, dans des proportions plus importantes : la famille prospère.
- Aux XVIIe et XVIIIe siècles : À cette époque, Marie de Kergrist, dernière descendante de la famille, épouse Jonathas de Kergariou : la demeure change alors de propriétaires. À l'est, une façade classique s'érige, un escalier à double volées droites mène à l'actuel jardin français. Le manoir devient château. Au sud, la façade s'inspire de sa voisine à l'est, mais dans une conception épurée.
Au xviiie siècle, les Barbier, marquis de Lescoët, prennent possession du château par alliance maritale avec les Kergariou. Mais ils doivent rapidement l'abandonner sous la Révolution Française (1792).
- Au xixe siècle : Vendu en tant que bien national à la Révolution, le domaine est morcelé, vendu en trois parties et le château pillé.
En 1860, Charles et Julien Huon de Penanster récupèrent le domaine, que leur grand-père et leur père, Pierre et Michel Huon (notaires royaux), mandatés par les Barbier de Lescoët, avaient réunifié. Caroline, Grand-mère de Charles et Julien relève le nom Penanster à la demande de son oncle. Charles en obtient l'approbation par un décret du Garde des Sceaux, et un jugement du Tribunal Civil daté de 1864. Ils restaurent le château, ainsi que son parc, dans un esprit XVIIe. Ils vont privilégier l'achat de mobilier ancien, avec une forte prédilection pour le xviiie siècle. C'est ainsi qu'ils acquièrent les boiseries de l’abbaye de Beauport, située près de Paimpol, pour être en cohérence avec la date d’édification des façades. Charles achète également des toiles de maître (Rubens, Giordano), ainsi que des panneaux de bois d'époque Henri II (xvie siècle) avec lesquels il fait réaliser des meubles néo-Renaissance.
Les façades de ce monument font l’objet d’une inscription au titre des monuments historiques le 20 janvier 1926