Les vestiges du château fort de Montoussé offrent un point de vue intéressant sur la vallée de Neste, la chaine des Pyrénées (Pic du Midi par temps clair et dégagé) et le Plateau de Lannemezan.
Le caractère exceptionnel du château de Montoussé réside dans le fait que ses fortifications ont été utilisées à des fins guerrières jusqu’à la seconde guerre mondiale. Ce qui prouve la position stratégique sans équivalent du "Rocher de Montoussé".
Le château de Montoussé fut la propriété des Rois de France depuis le XIIIème siècle jusqu’en 1789. On peut penser qu’un château existait déjà, le donjon datant du XII° siècle. Les capitaines qui l’occupèrent à dater du XV° siècle percevaient un "péage" légitimé par un contrat de protection des passagers traversant la dangereuse lande de Lannemezan, repère de brigands à la sinistre réputation. Démantelé par les Rois de France au début du XVII° siècle, le château va subir au fil des siècles les outrages des hommes et du temps jusqu’au coup fatal porté par une compagnie SS, durant le second conflit mondial, qui dynamitera le donjon et la tour sud pour installer un poste DCA.
L’ensemble du site est encore bien présent pour témoigner d’une architecture militaire élaborée et perfectionnée au fil des siècles.
En 1995, l’association "Les Amis du Château fort de Montoussé" a été créée pour reprendre en main la destinée du château et lui rendre vie, grâce à ses efforts et en partenariat avec la Mairie de Montoussé et la Communauté de Communes Neste Baronnies de nombreux travaux ont été effectués : défrichage et reconstruction de murs en pierres sèches, entretien du site, restauration de la citerne et de murs menaçant de tomber en ruine…
Aout 2016 : disparition de la cache. Pose d'une nouvelle le 17/08 à un autre emplacement. BIEN REPLACER LA CACHE ET LE CAMOUFLAGE APRES VOTRE VISITE. Merci pour la survie de la cache.