A l'emplacement actuel du château de Grammont existait un camp militaire. Les Sires de La Palud le transformèrent en bourg fortifié avec leur demeure et leur chapelle.
Il en reste un rempart de briques datant du XII° siècle comme en témoigne une des pierres portant l'inscription 1123. Le mur de soutènement construit du côté de la vallée est de la même époque.
En 1595, lors de la conquête de la Bresse, sous le règne d'Henri IV, le château fut démantelé par le Maréchal Biron et le pays fut ravagé.
Les bâtiments actuels sont donc récents puisque mis à part le rempart d'origine, la porte d'entrée percée au XVII° siècle et la poterne, ils ont été pour la plupart édifiés au cours du siècle dernier.
C'est le cas particulier de la tour ronde et même des créneaux qui ont simplement été rajoutés sur les murailles.
De même, le mur longeant le chemin communal a été édifié au siècle dernier. Il n'était d'ailleurs destiné qu'à servir de séparation pour mieux isoler les anciens châtelains des paysans qui avaient leur village dans l'enceinte du château.
Un très grand parc, traversé de belles allées entoure le château et l'on peut y remarquer entre autres essences un sycomore géant planté il y a deux siècles.
