Les premières fortifications remontent aux invasions barbares, il serait fastidieux d'énumérer la longue généalogie des maitres des lieux. Au temps de la guerre de cent ans vit se dérouler ici plusieurs épisodes notoires, pour signaler qu'en 1445 Georges de la Trémoille, ancien grand chambellan du roi Charles VII, donna ce château rebati au XIIIeme siècle à son fils Jehan "de l'hébergement". En 1590, cette terre passa par mariage de la famille de l'herbergement à celle de Sapinaud, qui la conserva jusqu'en 1707.
A cette date, Charles Daniel de Sapinaud la vendit à Daniel François de la Douespe, seigneur du Fougerais. Au début du soulèvement vendéen, l'herbergement Ydreau fut aménagé par les insurgés en entrepôt et en arsenal, tandis que le château du Fougerais voyait siégé l'état major de l'armée du Centre de renouvellement créée après les premières victoires de mars 1793, c'est là que Louise Regrenil, dite "la Hussarde" entama ses campagnes militaires;
Conservé au pouvoir des royalistes, il dut être abandonné lors du repli vendéen face à l'offensive républicaine de septembre 1793. Les bleus ne s'encombrèrent pas de cette place forte, préférant l'incendier pour créer plus tard un camp retranché sur les hauteurs de l'Oie.
Les vieux murs ont traversé les siècles, même si, faute d'entretien, certain éléments d'architecture ont disparu. On peut encore les admirer, se réfletant dans leurs larges douves.