Le château de Charrouilh se situe dans la vallée de la Musette, petit cours d'eau rejoint par le Cereix au niveau du-dit château.
Celui-ci a été construit aux environs de 1250 par le seigneur de Ceyssac qui possédaient des terres non loin de Loudes. Un siècle plus tard, à la mort de Durand de Ceyssac, sa fille Béatrix hérite du château qui était la femme de Louis de Vissac.
Leur descendante directe Jeanne se marie au seigneur de Saint-Marcellin-en-Forez, Perceval Raybe, à qui elle apporte le château en dote. Le château reste dans la famille Raybe jusqu'à la fin du XVIème siècle, pour être vendu à un bourgeois du Puy.
En 1748, il est détruit durant les guerres de religion et sera restauré par la suite. Différentes familles se succèdent alors au cours des derniers siècles. Il appartient actuellement à la famille Turin-Toulemonde.
Anecdote intéressante : le 23 décembre 1943, une réunion secrète de la résistance a lieu au château du Charrouilh. C'est en ce lieu qu'Henry Ingrand est nommé président du comité régional de libération Auvergne.