C'est à la fin du XIVème siècle que les seigneurs d'Agonnay auraient reçu la permission de faire fortifier ce château.
Actuellement réhabilité en exploitation agricole, le château d'Agonnay aurait été édifié au XVème siècle. De cette époque, il reste le portail d'entrée, daté de 1424, les trois tours d'angles, une porte à linteau sculpté d'animaux et un escalier à vis en pierre menant à des caves voûtées.
