Abandonné vers le milieu du XVIIe siècle par la famille d’Oraison, l’édifice tomba peu à peu en ruines. Ses restes furent vendus en 1791 à un particulier, puis acquis un peu plus tard par la commune.
Il n’en reste aujourd’hui qu’une tour tronquée, dite Donjon St Michel, classée monument historique en 1921. Ce petit bâtiment rectangulaire, flanqué d’une tour d’escalier ajoutée à la fin du XVIe siècle, porte les traces de nombreux remaniements.
On y pénètre par une porte à linteau ornée d’une accolade et on accède à la salle à l’étage par un escalier à vis. Cette salle, voûtée dans le sens de la longueur, est encore sur le rocher. Elle accueille maintenant les expositions temporaires.
Au deuxième étage, on accède à ce qui est aujourd’hui une terrasse (fermée au public), mais qui était à l’origine une salle identique à celle du premier étage.