Siège du pouvoir seigneurial du roi depuis Louis VI, ce donjon roman de type normand est implanté à flanc de colline, d'où il domine la cité. De plan carré, épaulé aux angles par de larges contreforts et doté à l'origine de sa propre enceinte, c'est une résidence appréciée des premiers Capétiens et, plus tard, des comtes engagistes comme Maximilien de Béthune ou Jacqueline de Bueil. Du 24 juin au 14 août 1664, le surintendant des Finances, Nicolas Fouquet, y est enfermé sous la garde de d'Artagnan. Vendu comme bien national en 1797 pour être démoli, le donjon n'est que partiellement détruit. Vidé et dérasé, il est utilisé comme dépôt d'écorces. Lorsque Joanne Thirion le rachète en 1879, il est en ruine. Le donjon est alors transformé en habitation.