La commune est traversée du Sud au Nord par la Gimone (cours d’eau creusant son lit dans le versant nord du plateau de Lannemezan et se jetant dans la Garonne à 9 kilomètres de Larrazet, au Sud-Est de Castelsarrasin, près de l’abbaye de Belleperche).
Larrazet aux portes de la Lomagne, présente aux visiteurs, un paysage des plus agréable, car très varié, d’abord la vallée où la paisible Gimone s’étale entre des zones ombragées et verdoyantes, vouées pour la plupart à la culture. Cette vallée assez large, très large même par endroit, est bordée de terrains en pente, tous cultivés, sauf pour les plus pentus qui sont boisés, ce qui donne un aspect vallonné où la monotonie est absente. C’est dans la vallée que se niche l’agglomération dominée par son clocher octogonal en pierre qui lui même surmonte la très belle église orgueil de la population .
Le village est à caractère de bastide, avec ses vieilles maisons à colombage et pans de bois, ses ruelles étroites bordées de couverts supportant des logements, ses vestiges de remparts et l’arceau de l’ancienne porte de la Barbacane.
Le Château abbatial Johan de Cardailhac, oeuvre de Guillaume Jauffre en 1265, reprise le 20 mai 1500 par Jean III de Cardaillac, domine la vallée de la Gimone. Il fut pillé et partiellement détruit pendant la Révolution, devenu un bien national, il fut acheté en 1791 par Groc qui le préserva en le recouvrant.
Sa façade de style gothique flamboyant est percée de fenêtres à meneaux à accolades et d’une magnifique porte. L’originalité principale est surtout l’escalier voûté d’ogives et dont la main-courante est directement taillée dans la pierre, cet escalier tourne autour d’un noyau central, dont chaque niveau renferme une pièce, ses cheminées et la décoration sculpturale intérieure.