Ce château de style anglo-normand a été bâti au début du XXe siècle comme résidence de campagne pour une célèbre famille de banquiers parisiens, et s'appelait alors « Le Chalet ». Il a été requisitionné pendant la Seconde Guerre mondiale puis transformé en hôtel-restaurant en 1946. Pendant la Troisième République, de nombreux artistes célèbres le fréquentèrent, tels que Jean Gabin, Édith Piaf ou Tino Rossi. En 1973, le château a connu d'importants travaux de restauration, et un second bâtiment dans un style proche du bâtiment principal lui a été adjoint ultérieurement. Le nom du château est justifié par un pastiche d'une tour médiévale à côté de l'entrée du domaine.