Commune située sur le bord de la Grande Baïse, dont l’étymologie : mougès, signifie moines, fut le siège d'un important couvent de l'ordre de Cluny, relevant de Saint Orens d'Auch, centre d'un pèlerinage à saint Julien. Vendu à Blaise de Montluc en 1525, pour contribuer au versement de la caution de François Ier, le couvent fut incendié en 1569 par les protestants de Montgommery.
De plan originel cruciforme, ceinte de hauts murs, ravagée durant les guerres de Religion, effondrée ensuite puis remaniée, cette église - qu’on a pu qualifier de pré-romane - pourrait être très anciennne (VIIIe-IXe siècles). Certaines parties procèdent de remploi gallo-romain, l’édifice étant assis sur le site même d’une très grande villa gallo romaine.
Le bénitier, creusé dans un beau chapiteau de marbre blanc est attribué à l’Antiquité tardive ou au très haut Moyen Age.
Ses titulaires sont Saint Julien (premier évêque de Lescar au Ve siècle) et Sainte Radegonde (reine des Francs au VIe siècle). Leur statue, de part et d’autre de l’autel, le rappelle.
Une bulle épiscopale de 1105 la citait déjà comme église d’un prieuré bénédictin relevant de Saint Orens d’Auch.
Elle sera plus tard affiliée comme abbaye à un monastère clunisien puis vendue au XVIe siècle au futur connétable Blaise de Montluc pour contribuer au paiement de la rançon de François Ier, détenu par les Espagnols après sa capture sur le champ de bataille lors de la défaite de Pavie (1525).
Grâce aux soins d’un membre de la famille Daste, l’autel-tombeau en faux marbre sera offert par Marie-Amélie de Bourbon-Sicile - nièce de Marie-Antoinette - qui épousera le roi de France Louis-Philippe en 1809.
Mouches possède un moulin fortifié et un pont en dos d'âne sur la Baïse, ainsi que des vestiges et des ruines gallo-romaines au nord-est du village, au lieu-dit la Turraque.