Vue sur le château de "Théobon" côté sud.
Le château apparaît dans un acte de 1327 dans lequel Gaubert de Mayrac se dit seigneur de Théobon. La seigneurie reste dans cette famille jusqu'à la fin du xve siècle. Elle passe ensuite par mariage aux Ségur, puis aux Pierre-Buffière. Du château du xive siècle il est resté certaines fenêtres, une fenêtre géminée bouchée et trois fenêtres rectangulaires à moulures prismatiques au premier étage sur cour. Ce château était alors un château-fort.
À la fin du xvie siècle le château appartient à la famille de Rochefort de Saint-Angel. Charles Ier de Rochefort, baron de Saint-Angel et du Chambon, seigneur de Bellegarde, épouse le 5 mars 1551 Moreille de Châteauneuf, dame de Théobon baronne de Chabane, fille de Louis de Châteauneuf, seigneur de Pierre-Buffière et d'Isabeau de Ségur, dame de Génissac et de Gaillat. De ce mariage sont nés deux fils, l'aîné Louis est baron de Saint-Angel, le cadet Jean, aussi appelé Charles, est baron de Théobon.
Son second fils, Jean Ier de Rochefort, est baron de Théobon, captal de Puychagut. Protestant, il participe à la défense de Castillon, en 1586. Il s'est marié le 6 novembre 1586 avec Élisabeth de Royère, fille de Jean de Royère, seigneur de Moneins, et d'Antoinette de Larmandie. Il devient par son mariage seigneur de Moneins et de Courouneau. Il a combattu contre les Ligueurs en Bourgogne sous les ordres du maréchal de Biron, en 1595. Il a été gouverneur de Mâcon. Après la paix de Vervins, il offre son épée au prince Maurice de Nassauet participe au siège de Rheinberg, en Flandre, où il reçoit une blessure dont il meurt en septembre 1606.
Charles II de Rochefort, marquis de Théobon, captal de Puychagut, fils du précédent. Il a été élevé comme page de la maison de Caumont-La Force. Il a été marié le 30 octobre 1616 à Jeanne d'Escodéca de Boisse, fille de Pierre d'Escodéca de Boisse, seigneur d'Allemans-du-Dropt, Saussignac, et de Marie de Ségur, dame de Pardaillan, dont il eut un fils, Jean, né en 1619, et une fille qui se convertit en 1679 et reçut une pension de 4 000 livres. Il a levé un régiment par commission du 26 février 1619, licencié le 2 juin. Il est retourné en Guyenne. Gouverneur de Sainte-Foy-la-Grande pour le roi en 1621, il va se révolter après l'insuccès de l'armée royale au siège de Montauban et pour déjouer un plan de son beau-père. Il a été accusé d'avoir fait assassiner son beau-père, Pierre Escodeca de Boisse, à Gensac. Il en a été loué par l'assemblée de La Rochelle pour son action à Sainte-Foy, mais ayant échoué dans une tentative de prendre la ville de Bergerac, il est devenu suspect pour le habitants de Sainte-Foy qui le chassent avec le soutien du marquis de La Force. En 1622, il participe au siège de Granges-sur-Lot avec Lusignan, puis il fait la retraite de Tonneins pendant laquelle il est blessé. Il est qualifié de marquis de Théobon en 1649. En 1649, le parlement de Bordeaux en révolte contre le roi et le cardinal Mazarin nomma le marquis de Lusignan, Théobon et d'Aubeterre lieutenants du marquis de Sauvebœuf, général des troupes du parlement. Ils ont pris le contrôle du Château-Trompette le 19 octobre 1649. Il a été lieutenant-général de l'armée de Condé en Guyenne pendant la Fronde, en 1651. Il assure la défense de Villeneuve-d'Agenais contre le comte d'Harcourt, qui a commencé à investir la ville en juin 1652, mais a dû lever le siège le 9 août. Le marquis de Théobon est resté dans la ville pendant encore un an mais n'a pu trouver les 6 000 livres pour payer ses troupes. Les consuls de Villeneuve ont alors fait leur soumission entre les mains du comte de Vaillac, Jean-Paul Ricard de Gourdon de Genouillac, le 13 août 1653. Le duc de Candale exigea que la ville paie 30 000 livres pour l'entretien de l'armée du roi. Le comte de Théobon s'est alors soumis au roi et a contribué à la réduction de Bordeaux, en 1653. Il est créé la même année lieutenant-général des armées du roi. Il a fait son testament le 13 décembre 1658.
Le château est complètement transformé au xviie siècle.
Jean II de Rochefort, fils du précédent, est né le 9 juin 1619. Il s'est marié le 8 décembre 1637 à Anne de Chaussade de La Mothe, dame de Roquefère et de Lespinassat, fille de Bernard de La Mothe et de Henrye d'Alba de Panisseau. De cette union sont nés Charles Bordeaux de Rochefort, Lydie de Rochefort-Théobon, Marie Guyonne de Rochefort-Théobon et Françoise connue sous le nom de mademoiselle de Loubès. Sa fille Lydie de Rochefort-Théobon, née la même année que le roi Louis XIV, en 1638, était devenue avant 1670, demoiselle d’honneur de la reine Marie-Thérèse d’Autriche. Elle devient la maîtresse du roi en 1670. Cette liaison a duré jusqu'en 1672. Madame de Montespanayant obtenu le renvoi des demoiselles d'honneur de la reine, elle est devenue de la princesse Palatine en 1673. Le roi se reprend de passion pour mademoiselle de Rochefort en 1676. Elle s'est mariée en 1678 avec Charles d’Harcourt, comte de Beuvron, frère de François III d'Harcourt, capitaine des gardes de Monsieur, frère du roi, qui la laisse veuve le 29 septembre 1688. Avec la révocation de l'édit de Nantes, en 1685, Lydie de Rochefort-Théobon calviniste se convertit au catholocisme. Elle est morte au château de Marlyle 23 octobre 1708.
Les Rochefort de Saint-Angel étaient huguenots. Charles Bordeaux (ou Charles III) a fait célébrer le culte protestant dans le château. Il a épousé le 21 février 1664, Marie Nompar de Caumont, fille de François de Caumont, marquis de Castelmoron, petite fille du duc de La Force, Jacques Nompar de Caumont, dont il a une fille Marie Guyonne de Rochefort-Théobon, dame d'honneur de la duchesse de Berry qui s'est mariée, en 1704, Louis de Pons, seigneur de Saint-Maurice, Saussignac, Cazeneuve, maître de la Garde-Robe du duc de Berry. Le culte protestant est interdit dans le château en 1684. Ayant refusé d'abjurer, il a été enfermé à la Bastille et sa femme mise au couvent. Il s'est remarié le 15 septembre 1695 avec Marie Antoinette de Pons Saint-Maurice, sœur de Louis de Pons Saint-Maurice, dont il a eu deux filles, Marie, sans alliance, et Marie Guyonne de Rochefort-Théobon qui s'est mariée avec Daniel-Marie Anne de Talleyrand-Périgord.
Le château passa dans la famille de Talleyrand-Périgord par le mariage en 1725 de Marie Guyonne de Rochefort-Théobon avec Daniel-Marie Anne de Talleyrand-Périgord, fils de Gabriel de Talleyrand, comte de Grignols, baron de Beauville, dit le marquis de Talleyrand, comte de Grignols, baron de Beauville. Leur fils, Gabriel-Marie de Talleyrand-Périgord, vendit le château, en 1783, au sieur Brie de Teysson, capitaine au régiment d'Artois, chevalier de Saint-Louis. Une de ses filles en hérita, mariée à M. Albert, elle le transmit à son fils, A. Albert de Théobon.
Le château a été modifié pendant la Révolution. Ordre a été donné de raser les tours au niveau du corps de logis. Les fers et les cuivres ont été réquisitionnés. Des parties du château ont été abandonnées au XIXe et au XXe siècles, des fenêtres ont été bouchées et des cloisons ont coupé des pièces.
La plus belle cheminée du château a été vendue en 1924 et se trouve actuellement dans un salon de musique de l'université Harvard.