L'église Saint-Léger a probablement une origine datant du XIe siècle : En 1094, deux seigneurs de la Maison de Thiers, Guérin et Auvin de Montpensier, sur le point de se faire moines, donnent entre autres choses leurs terres de Chavaroux à l’abbaye de Cluny, gouvernée alors par l’abbé Hugues de Semur. Ce fut sans doute l’origine de l’ancienne partie de l’église. Elle est remaniée en 1874 par la construction du clocher porche carré et de l’horloge.
L'église doit son patronage à Saint-Léger en raison de l'importance de la vigne à Chavaroux, notamment sur la colline du Puy des Vignes. Un des chapiteaux de l'église représentant une grappe de raisin accompagnée d’un masque humain, un autre un personnage cueillant un fruit (peut-être une grappe de raisin !) témoignent de cette ancienne activité.