Lors de la vente du château en 1750, le marquis de Vassé, seigneur de Mézières, exerça le retrait lignager et réunit la terre de Notz à celle de Mézières. L'édifice échut à Victor Luzarche qui fit reconstruire le château en 1834. François Cavé, son successeur, fut un des fondateurs de l'industrie mécanique moderne.
Le château actuel, construit sur les bases de l'ancienne construction dont les douves et les fondations sont encore visibles, possède trois niveaux rehaussés de combles. Les quatre tours, avec toits à l'impériale, sont coiffés de lanternons, l'alternance, dans la façade, de fenêtres à linteaux droits, cintré, à gâble gothique forment une alliance qui parvient à donner une certaine majesté à l'ensemble.