Pour pénétrer plus commodément dans la ville du côté nord de l'enceinte de Vauban, on a percé en 1877 dans la courtine, entre les bastions 3 et 4 et à travers la demi-lune 26, un nouveau passage, l'avenue de la Gare. Un premier passage, dit avant-porte, règle tout d'abord les arrivées. C'est une simple coupure du mur de face de la demi-lune, fermée par des grilles et précédée par un pont dormant jeté sur le fossé. Le chemin se poursuit ensuite à travers la demi-lune jusqu'à la courtine. Le passage de celle-ci est réglementé par une porte monumentale. Entre les deux portes (actuellement avenue Garibaldi) se poste le bâtiment de l'Octroi chargé de vérifier et de taxer l'entrée des denrées alimentaires dans la ville. La porte principale Saint-Paul est un gros bâtiment néogothique percé de deux ouvertures voûtées, une pour les entrées, l'autre pour les sorties. Un pont-levis jeté sur le fossé, précédant chaque passage, est actionné par un système de chaînes "à la poncelet".
Jusqu'en 1929, les entrées et les sorties voitures et piétons se sont effectuées de ce côté de la ville, sous ces voûtes et sur ce pont-levis. Après la démolition de l'enceinte et le comblement des fossés, la porte Saint-Paul est épargnée, mais elle se retrouve, en 1930, totalement isolée au milieu d'une vaste place.