L’occupation néolithique du sol pour Saint-Sylvestre est peu connue. Il faut se tourner vers les environs. Le mégalithisme – 3500, –1800, a pu exister sur le territoire d’Ambazac ; de même la prospection a révélé des silex, ou fragments d'outils, qui paraissent appartenir à une vaste période comprise entre le Mésolithique et le Néolithique et qui pour certains se trouvent près de la commune sur le site de Montcocu (Montméry). Les alentours, Bersac, Saint-Sulpice-Laurière ont fourni des haches à talon.
C’est aussi près de Montcocu que quelques traces gallo-romaines ont été trouvées. Dans les ruines de l’abbaye de Grandmont, on a recueilli deux deniers gallo-romains ; en outre le bas relief en calcaire de l’oratoire Saint-Psalmet (Ambazac) est originaire du Puy-Firmigier (Saint-Sylvestre) ; il figure une femme portant une longue robe, probable mater topique. Saint-Sylvestre encore, aurait eu une tête colossale de Diane et des inscriptions funéraires. La toponymie rappelle les domaines : Ventillac (nom d’homme probable) ou Excideuil (lieu alternatif au Moyen Age entre Ambazac et Saint-Sylvestre rappel d’un nom gaulois), et un hypothétique fanum à Fanet ?
Le commencement du christianisme est en rapport avec la venue chez les Lemovices de Martial, vers l’an 300. La christianisation s’engage dans les campagnes. Aredius (+591) fonde Attane/SaintYrieix : La Vie de saint Yrieix mentionne le couvent Saint-Antoine d’Ambazac (vie-viiie siècle). Des monnaies mérovingiennes proviennent des alentours de Saint-Sylvestre, de Razès et peut-être de Laurière, sans oublier les ateliers monétaires de Compreignac et d’Ambazac. Des microtoponymes indiquent l’installation humaine : les multiples boueiges, besges (autour de la paroisse, le lieu des Ardelliers (Fanet). Cependant, la toponymie ne permet pas de dater les installations : Fondaneiche (Fons Johannes), le Mas, Chabannes, la Borderie, (pour l’habitat) Grandimontis, les Sagnes, Brugères, Augères (pour la nature, lieu humide, brandes, mine), la Crouzille (voies de communication). Une partie du territoire de la commune est englobée dans la Marche qui se constitue dans le courant duxe siècle. L’évêque possède la majeure partie de la paroisse de Saint-Sylvestre. Il y dote les seigneurs : les Razès, les Montcocu, les Montrocher, les de Verneuil, les de Saint-Sylvestre, les Bussière-Boffi. En 1124, les ermites qui suivent Etienne de Murets’installent à Grandmont à la mort du fondateur de l’ordre de Grandmont. Il semble que la paroisse soit crée à la suite.
L'église