La chapelle fut construite au XIIe siècle.
Cette chapelle castrale, utilisée en même temps comme église paroissiale, a été construite hors de l'enceinte du château, près de son accès. Les seigneurs de Vouhet y furent inhumés jusqu'en 1607. Elle contient toujours les sépultures de Catherine de Rochechouard et de Jean d'Aubusson,. L'aile nord, qui s'était effondrée, a été reconstruite en 1929. Il a été découvert, en 2014, des fresques remarquables sur le thème du pèlerinage de Saint-Jacques-de-Compostelle : on y reconnaît cinq personnages : un pèlerin, un religieux qui le bénit, un moine qui le protège, un ange et le Diable. Il faut noter que la toiture et le gros œuvre ont toujours fait l'objet des réparations indispensables.
L'édifice est inscrit au titre des monuments historiques, depuis le 28 février 1928.