Le château date du XIIIe siècle et a possiblement été construit sur le site d'un ancien oppidum. Il a été régulièrement remanié du XIVe siècle au XVIIIe siècle. Des éléments médiévaux comme le donjon ou la chapelle voûtée en croisée d’ogives du XIVe siècle ont été conservés.
Le premier possesseur et sans doute le constructeur du château est Guy de Sales. En 1358, son petit-fils reçoit du comte de Savoie l'inféodation de Saint-Martin-du-Mont. La descendance de Guy de Sales conserve le domaine jusqu'à 1548 et la cession à la famille de Grillet. Nicolas de Grillet est le premier des Grillet possesseur du domaine ; Son fils Charles Maximillien de Grillet en hérite (il est enterré dans l'église de Sain-Martin-du-Mont). Par la suite les familles Moyria, Maillat, du Chatelard, Conzié au XVIIIe siècle - dont sont issus Joachim François Mamert et Louis-Hilaire de Conzié et le comte de Loras se succèdent à la tête du domaine. En 1848, le château est acheté par Sylvain de La Forest Divonne.
Une large partie du film Confession d'un enfant du siècle a été tournée au château de Pommier en 2011.