D'après les abbés Therme et Étienne Bethe, curés à Lachapelle-Graillouse dans la première moitié du xxe siècle, une église et donc une paroisse existaient ici en l'an 938.
En effet, à cette date, Ithier, de la maison des Mercœur d'Auvergne, donne à son fils Gauthier en qualité de chanoine de Saint-Julien-de-Brioude plusieurs propriétés en Auvergne avec entre autres, l'église de Lachapelle-Graillouse. Le quatrième abbé de Cluny, saint Odilon de Mercœur (vers 962 - 1048), fit ses études et se forma à la vie religieuse chez Gauthier de Mercœur qui était son cousin. À la mort de Gauthier, les biens de Ithier de Mercœur furent transmis à son neveu Odilon. Ensuite deux versions de l'histoire de l'église sont connues :
La première précise que le 18 février 1021, saint Odilon donna l'église de Lachapelle-Graillouse au prieuré de Saint-Pierre du Puy-en-Velay ;
La deuxième stipule que ce serait Étienne, évêque du Puy-en-Velay et neveu d'Odilon qui aurait donné l'église à ce prieuré.
Dans les deux cas, le prieuré dépendait de l'abbaye Saint-Chaffre du Monastier-sur-Gazeille. Il existe encore de nos jours des copies d'un document du Moyen Âge contenant les annales de cette abbaye. Ces copies résument le contenu de ce document original, perdu, qui est connu sous le nom de « Cartulaire de l'abbaye Saint-Chaffre du Monastier-sur-Gazeille ». Grâce au laborieux travail des copistes du Moyen Âge suivi d'une publication imprimée au xixe siècle, l'histoire de l'église de Lachapelle-Graillouse est par conséquent connue depuis le haut Moyen Âge et vous pouvez ainsi connaitre sa lointaine origine.
Pour ce qui est de son histoire beaucoup plus récente, quelques pages du registre des baptêmes décrivent cette dernière.
Deux faits marquants ces dernières années :
1994 : la paroisse catholique de Lachapelle-Graillouse forme avec 13 autres paroisses l'« Ensemble Inter Paroissial de Coucouron » ;
2003 : création de la paroisse « Notre-Dame de la Montagne », par fusion des paroisses catholiques regroupées au sein des « Ensembles Inter Paroissiaux » de Coucouron et de Saint-Étienne-de-Lugdarès