En arrivant à Vouvant par le pont qui enjambe la Mère depuis le Petit Château, les regards se portent directement sur les remparts de pierre édifiées à même l'éperon rocheux aux XIIe et XIIIe siècles pour défendre la cité médiévale d'éventuels assaillants, ce qui en fait le seul bourg fortifié de Vendée.
Une porte étroite permet alors d'accéder aux ruelles du village par une rampe pavée : il s'agit de la Poterne, la seule encore existante sur un ensemble de trois portes au Moyen-Âge, les deux autres étant à l'époque situées près de la Tour Mélusine (Porte Bouguerin) et du côté du pont roman (Porte aux Moines).
.