A l'origine, il existe sur ce site deux chapelles, l'une dédiée à Saint Jacques et l'autre à Saint Antoine, vendues en 1798.
La chapelle Saint Jacques date du XVIe siècle, elle conserve une partie de son ancienne charpente.
Le bas-relief de la Passion qui orne la partie supérieure de la face nord proviendrait d'un ancien calvaire.
Cette frise, que l'on peut dater de la fin du XVe siècle, selon certains details vestimentaires et selon la représentation même de l'épisode de Sainte Véronique, représente le Christ portant la croix, la scène dite de la pâmoison de la Vierge et Sainte Véronique, les uns et les autres entourés de soldats.
Aujourd'hui, on parle communément de la chapelle Saint Jacques, mais un extrait de la prise de possession de la baronnie de Rostrenen par Florimonde de Kerardreux en 1670 décrit avec précision la frise d'une chapelle Saint Antoine.