Le Château de La Chèze est construit entre 1180 et 1231 pour Eudon III par Eudon II. Le château remanié par Olivier V de Clisson, seigneur de la Chèze, entre 1370 et 1400 par acquêt de la châtellenie de Josselin. Allenor, petite-fille d'Eudon III, et épouse de Alain V de Rohan, y vivra jusqu'à sa mort. Les Rohan vont s'y succéder , ils affronteront notamment les troupes anglaises, pendant une trentaine d'années, jusqu'en 1381, la Bretagne étant à l'époque, sous l'administration anglaise, dirigée par Henri II de Plantagenet.
Le château est aujourd’hui en ruine. Les vestiges s’élèvent sur un socle de schiste ardoise. Il subsiste des éléments de courtine, la base de deux tours circulaires et du châtelet d’entrée, deux poternes superposées donnant sur un boyau débouchant dans la cour. Le château était autrefois entouré de fossés, mais ceux-ci ont été remblayés et transformés en promenade. L’élément le plus marquant est le donjon polygonal (xiiie - xve siècle) dont il reste 17 mètres d’élévation, soit les deux premiers niveaux. Le premier, voûté, a été rebouché au xve siècle pour donner au donjon plus de résistance contre l’artillerie. Le troisième étage portant les défenses somitales n’existe plus. Il était desservi par une tourelle d’escalier aujourd’hui disparue9.