En février 1544, François 1er accorde, par lettres patentes, l'autorisation de ceindre le village de murailles et fossés, afin de le protéger des brigands mais aussi des mercenaires sans solde qui traversent le pays. Sergines ne sera cependant pas épargné par de successives attaques de pillards et de régiments de huguenots qui sèment la terreur et la mort. La plus célèbre d'entre elles a lieu le 6 août 1640, lorsque le jeune Blaise Rigault loge une flèche dans la tête du capitaine Verdelet, venu piller le village avec sa troupe de brigands. En décembre 1643, de nouvelles lettres patentes accordées par Louis XIV, alors agé de cinq ans, confirment aux serginots le privilège de clôture.
Les fossés subsisteront jusqu'au 19ème siècle. Profonds et souvent remplis d’eau stagnante et malsaine, il seront petit à petit remblayés pour laisser place au chemin de ronde actuel.