La « Porte de Monsieur » est l’entrée sud de l’enceinte extérieure du château.
Ses deux tours, au chemin de ronde jadis crénelé, sont percées d’archères canonnières, placées bas pour les tirs rasants. Les mâchicoulis tréflés sont une signature du château d’Allègre. La glissière de la herse est en parfait état, comme les gonds de l’ancienne porte et les logements des barres qui en bloquaient l’ouverture. Le clocheton métallique, au-dessus de l’horloge, date de 1816, à la cime d’un escalier en pierres resté intact.
D'après un acte du 10 avril 1613, La Porte de Monsieur avait alors un grand corps de logis et deux tours dites : l'une de l'horloge, l'autre du colombier. En fait il s'agit de la porte d'accès Sud du château d'Allègre. Cet ouvrage fut construit entre 1365 et 1435. Il tire son nom "Monsieur" du seigneur en titre, baron, puis marquis d'Allègre. Ses deux tours sont assez bien conservées. Elles étaient jadis surmontées d'un chemin de ronde crénelé. On distingue sur la tour de gauche (qui fut longtemps cachée par une maison) des meurtrières qui ont très bien survécu à l'oeuvre du temps.
L'horloge située à son sommet a nécessité des modifications pour cacher les plombs indispensables à son fonctionnement.
Il a pour cela fallu construire une avancée en forme de cheminée, juste sous les créneaux ; celle-ci est soutenue par des pierres de tailles. Cette transformation est assez récente (1826).
Pendant de nombreuses années, le Portail de Monsieur (que l'on appelait aussi ta Tour de l'horloge ou le "porche") a été couronné par un arbre, celui-ci a été supprimé dans les années 1950.
Des départs de murs visibles sur la base des deux tours sont les vestiges d’ouvrages défensifs qu’un fossé sec et un pont-levis devaient compléter. La Porte de Monsieur est classée MH depuis 1926.