Ce vestige pourrait être le parement Nord du temple de Vasso Galate (Vasso serait une épithète donnée à un Dieu et Galate le nom du terroir qui fut déformé peu à peu jusqu’à devenir Jaude), construit à l’époque gallo-romaine sur cet emplacement et décrit par Grégoire de Tours dans son « Histoire des Francs » : "C’était une construction d’une solidité remarquable. Le mur en était double… et épais de 30 pieds (9 mètres). L’intérieur du monument était orné de marbre et de mosaïque ».
A la fin du Moyen âge, les restes de ce temple détruit au IIIe siècle, par Chrocus, roi des Alamans, sont englobés dans un petit château fort : le château des Salles (le mot « sala » désigna d’abord la demeure exempte de tout impôt puis la demeure seigneuriale où l’on devait porter ses redevances). Celui-ci fut détruit en 1939, laissant apparaître le mur romain dit « mur des Sarrasins » que l’on a conservé lorsque les immeubles de la rue Bonnabaud et de la rue Rameau ont été construits entre 1947 et 1960.
Quant au terme de Sarrasins, il n’a rien à voir avec les Barbares qui répandirent la terreur dans le sud de la Gaule au VIIIe siècle. Il s’agirait d’une déformation de « Césarin », nom antique donné aux ouvrages romains. Ou, autre hypothèse : le mot sarrasin signifiant, au Moyen-âge, païen, ennemi du chrétien, a pu qualifier par la suite une ruine datant des romains, c’est à dire du paganisme.
Les principales fouilles de sauvetage réalisées sur ce monument ont eu lieu dans les années 1946-1970, à l'occasion de la construction des immeubles riverains.