Au XIe ou XIIe siècle, est construite, sur les hauteurs de Chazeuil, la chapelle dédiée à Notre-Dame de la Ronde, aujourd'hui le plus ancien bâtiment de la commune.
Il semblerait que, plus tard, la ville de Varennes sur Allier ait été donnée en fief à la maison de Bourbon, puisque c’est au duc Louis II (1336-1410) qu'elle doit les fortifications du XIVe siècle, dont subsiste la tour de la Poterne au-dessus de la rive droite du Valençon, le petit cours d'eau qui la borde.
Cette qualité de ville close, sur l’une des routes les plus importantes du royaume, n’offrait pas seulement des avantages et valut par la suite à Varennes de figurer dans l’histoire de plusieurs guerres civiles et dans la chronique des grandes épidémies.
En 14403, la ville est assiégée par le roi Charles VII contre lequel s’était rebellé le cinquième duc de Bourbon.
En 1591, inversement, c’est par sa fidélité au roi Henri IV que Varennes se distingue au terme des guerres de religion ; le souverain offre quatre ans plus tard aux habitants la cloche qui sonne toujours les heures du haut du beffroi de l’Hôtel de ville.