En 1576 elle est la propriété de Jean Geoffroy, écuyer, sieur de la forêt, capitaine de 200 homme de guerre à Pied pour le service du roi. (Maître Jean Mousnier, notaire à Angoulême)
Au XVIIe siècle, elle fut acquise par François Aigron de Combizan, vice-sénéchal d'Aunis, Saintonge et Angoumois, qui la légua à sa fille Françoise. Cette dernière épousa le 27 août 1647, Louis Bernard, écuyer, seigneur de Saint-Michel, conseiller du Roi, lieutenant particulier au présidial d'Angoulême. Ils transmirent la terre de La Font, à leur fils Clément, marié en premières noces à Claude Arnauld, fille d'Alain, l'un des écuyers du prince de Condé, et en secondes noces à Diane Guibert, veuve de François de La Rochefoucauld.
Par contrat du 5 mars 1715, Clément Bernard et sa fille Jeanne, née de son premier mariage, vendirent le domaine de La Font à Pierre Navarre, sieur du Boisderet. Ce dernier fit aveu et dénombrement de cette terre le 28 janvier 1717. A cette époque, La Font se composait de " la maison forte ... renfermée de fossés avec pont levis, la cour, chapelle, fuye, granges etc., le tout contigü ...".
Le 5 août 1718, Pierre Navarre vendit le domaine de La Font à Jean Fé, écuyer, seigneur de Ségeville, président civil et criminel, juge des Eaux et Forêts au siège royal de Cognac et subdélégué de l'intendant. A sa mort, en 1718, le domaine revint à son fils Jean, lieutenant-général au siège de Cognac, marié à Marie-Louise-Ursule-Magdeleine Moucheteau, puis à Louise-Marie-Catherine Fé, fille des précédents qui épousa le 10 août 1773, son cousin, Jean-Philippe-André Guillet, seigneur des Fontenelles. Ces derniers lèguèrent La font à l'une de leurs filles, Marie-Marguerite, mariée en premières noces à Gabriel Lacroix du Repaire, puis à Théodore Robin-Beauregard qui l'a transmis à ses descendants.
Il fut acquis, le 2 Février 1972, par Philippe Marie Joseph Vallantin Dulac. Puis vers 1993, par Yves Poullat. Il fut de nouveau vendu, fin 2001. Aujourd'hui propriété de Philippe Berrini.
Le château est entouré de douves en eau que drainent des canaux. Côté jardin, la façade est flanquée de deux tours cylindriques couvertes de poivrières en ardoises, dont l'origine, selon Charles Daras remonterait au XVIIe siècle. Celle-ci on souffert de la "tempête du siècle", le 27 Décembre 1999, et furent restauré à l'identique. Le corps d'habitation, de type rectangulaire, présente une grande sobriété. Sur chaque façade, les lucarnes offrent une alternance de frontons segmentés et triangulaires. Enfin, à proximité, se tiennent les anciennes dépendances dont la date de construction, malgré certaines modifications, est antérieure à celle du château actuel.