Ce château a été construit par Louis Labauche (1698-1780), fabricant textile.
Le 30 mars 1741, Louis Labauche se voit accordé le privilège royal d'établir à Sedan une manufacture pour la fabrication de toutes sortes de drap. Ce privilège consacre son zèle et son talent au service de l'industrie drapière de la ville. Ayant acquis la propriété de Bazeilles, il fait construire ce château et regroupe sur ce site une foulerie à proximité du château. Il tente également d'installer des perches à lainer et des tables à tondre les draps. Mais il provoque une «clocque», un mouvement de grève des tondeurs. Ceux-ci ne veulent pas être «ouvriers de village», alors qu'ils pratiquaient leur métier sur Sedan précédemment. En 1750, il est à la tête des entrepreneurs confrontés à une nouvelle grève des tondeurs refusant l'évolution du règlement. Ce sont, cette fois là, les tondeurs qui doivent céder. Louis Labauche est anobli en avril 1769. Il devient écuyer, en plus du titre de seigneur engagiste de Bazeilles.
Le château a quelquefois été attribué à l'architecte Emmanuel Héré, et les grilles à Jean Lamour. Ces attributions ne sont confortées par aucun élément concret, et, selon Jean-Lucien Guenoun, « la rusticité du traitement des clefs de baies sculptées renvoie à des artisans moins illustres ».
L'édifice est classé au titre des monuments historiques en 1943. Il a subi un incendie important en 1989.