Eléonor du Valois, de retour de la visite du chantier du chateau de La Ferté Milon est attaquée aux abords de Vaumoise, elle feras ériger une tour de garde (dites tour aux grains) pour protéger les voyageurs des bandits de grands chemins.
Après la destruction de cette tour, ne subsistent que les sous sol qui serviront de cachette aux brigands, tel Cartouche.
Selon la légende (reste à prouver) des sous terrain reliaient ces sous sol aux chateau des environs (Pierrefonds, villers cotteretz, ...) et un carrosse pouvant y être tiré par un attelage de chevaux.