La tour de l'Abbé, ou encore la tour de guet de Canillac aurait été élevée sur demande de l’abbé de Montmajour, Pierre de Canillac, entre 1348 et 1353. C’est une construction à la fois défensive et résidentielle : si la tour constitue un symbole de pouvoir et de puissance militaire qui a son importance en ces temps de guerre (les XIV° et XV° siècles sont en effet émaillés par une série de conflits, plus connus sous le nom de "Guerre de Cent Ans"), elle est combinée à d’autres constructions abritant le logis seigneurial ainsi qu’une salle d’apparat où l’on rendait la justice.
Les bâtiments qui lui sont accolés datent probablement du XIII°, ils sont néanmoins agrandis et fortifiés durant la seconde moitié du XIV°. Les modifications qu’ils subissent aux XV° et XVI° sont d’ordre mineur (modification des ouvertures...).
Avec la tour de Montmajour, elle fait partie des rares exemples de tours résidentielles pouvant être datées entre 1350 et 1360.Le blason de la famille de Canhilac était un lévrier, lequel figure aujourd'hui dans les armoiries de la ville de Fontvieille.
Ce lieu est aussi consacré à des expositions temporaires principalement dédié au peintre de renom Carl LINER.