Le château appartient dès ses origines à la maison de Vitré. Robert III de Vitré fait édifier une motte castrale à Chevré dans le courant du XIIe siècle, dans le cadre des guerres l'opposant à Robert de Sérigné, dont la motte est située à seulement 1,6 km de Chevré. Michel Brand'honneur note qu'il s'agit d'un « ouvrage à motte aux dimensions particulièrement imposantes pour le Rennais » et qu'il est mentionné pour la première fois entre 1173 et 1184. André III de Vitré y fait construire un donjon de pierre au siècle suivant en prévision des luttes contre le duc de Bretagne Pierre Mauclerc, vers 1225 ou 1230. Il est ensuite pris et incendié par les hommes du duc (vers 1230 ou 1233.) Après la défaite de Mauclerc face au roi de France en 1234, André III peut à nouveau faire fortifier ce site (ainsi que ceux de Vitré et de Marcillé), avec les 6000 livres de dédommagement obtenus de ce dernier. Au début de la guerre de Cent Ans, le château de Chevré est toujours aux mains des seigneurs de Vitré : Frédéric Morvan le liste parmi les possessions des Montmorency-Laval. Au XVIIIe siècle, ses ruines sont exploitées comme carrière pour réparer la chaussée du moulin, ce qui explique qu'il n'en reste aujourd'hui qu'un pan de mur.
Le château est situé sur une motte de 11 mètres de haut et d'un diamètre de 38 mètres, entourée d'un fossé large de 16 mètres, et profond de 5. Les sources divergent concernant la forme du château lui-même : pour Paul Banéat, il s'agissait d'un donjon en pierres non appareillées de trois étages, carré à l'extérieur et circulaire à l'extérieur, haut de 18 mètres et avec des murs épais de 3m5, alors que pour Michel Brand'honneur, le donjon de pierre était circulaire, d'une hauteur de 11,25 mètres et d'un diamètre externe de 15,5 mètres, et comportait trois ou quatre niveaux. (Source Wikipedia)