De même que pour Orcival, l’origine de l’église est très mal connue. On sait seulement qu’un prieuré existait au milieu du XIIe siècle (en 1146, le territoire de Saint-Nectaire fut donné à la Chaise-Dieu par Guillaume VII, comte d'Auvergne). L’église est de même importance que celle de Saint-Saturnin et reste donc très modeste par rapport aux grandes églises de la Limagne. Elle offre, par contre, une architecture romane aux proportions parfaites. Comme ses grandes sœurs, elle comprend un narthex, une nef à deux étages, avec tribunes voûtées en berceau sans arcs-doubleaux, un transept avec deux chapelles sur les croisillons, un chœur avec quatre chapelles et un déambulatoire magnifiquement décorés.
L’ensemble des chapiteaux est reconnu comme étant le plus beau d’Auvergne. Contrairement à ceux d’Orcival, un nombre important d’entre eux est historié. L’abbaye de Saint-Nectaire avait un immense trésor pillé lors de la Révolution ; la célèbre statue de la Vierge a échappé à la destruction ainsi que le buste de saint Baudime, compagnon de saint Nectaire au XIIe siècle. C’est l’une des œuvres majeures de l’orfèvrerie auvergnate.