Bâti au XVe siècle, le château de Paluel est inscrit à l'Inventaire supplémentaire des monuments historiques par arrêté du 5 novembre 1927. Sa description est à l'époque la suivante :
« Le château se compose d'un corps de logis flanqué de deux tours d'angle de part et d'autre de la tour d'escalier placée au centre du logis. Derrière ce bâtiment, et relié à lui par un étroit passage, un donjon rectangulaire du XIIe siècle complète l'ensemble. Des mâchicoulis couronnent les tours et le corps de logis. Le donjon a conservé ses mâchicoulis de bois avec remplissage de torchis. Le château est entouré d'une enceinte de courtines. »
Au début du XXe siècle, son nouveau propriétaire, le prince de Croÿ, rachète le château de Commarque, entièrement en ruine, pour s'en servir comme carrière de pierres pour rénover Le Paluel. L'édifice reste en bon état jusqu'à la fin de la seconde guerre mondiale. Il est incendié en juin 1944 par la division SS Das Reich de retour d'Oradour-sur-Glane. En ruine, il n'est jamais restauré et la végétation prend alors le dessus.
En 1968, le château sert de cadre au tournage du film Le Tatoué de Denys de La Patellière, avec Louis de Funès jouant le rôle d'un marchand d'art et Jean Gabin, celui d'un comte et châtelain désargenté qui, en échange de son tatouage de Modigliani, demande la rénovation du château.