Le village de Tharoiseau a été fortifié au début du XVIe siècle. A l’entrée du village, 50 mètres après le cimetière, un monticule signale l’emplacement des anciennes fortifications du XVIe siècle. Tharoiseau, afin de se protéger des guerres (contre les Huguenots) et des pillards (Ecorcheurs) qui sévissaient dans la région, s’entoura de murs en 1537. De plus l'ancienne voie romaine, puis médiévale (Vézelay Avallon), puis royale passait en proximité. Pendant les guerres de la Ligue, comme une garnison royaliste s’était installée à Tharoiseau, les remparts furent démolis, puis reconstruits en 1596. Le tracé exact n'est pas toujours très visible, mais la toponymie évoque les anciennes fortifications : rue "Sous les murs", "Chemin de la garde" …De nombreuses ruines ou buttes, plus ou moins larges sont encore visibles sur certaines propriétés privées ou en bordure de chemins.