La château est mentionné dans les écrits historiques en 1341 quand le moine de Roquefort et de La Garde, mieux connu sous le nom de Féraud de Cabris, investit les lieux et se met à brigander dans la région.
Le roi Robert d'Anjou tente à deux reprises d'agir contre ce moine devenu pilleur mais en vain. Suite à l'arrivée de nouveaux brigands autour du château, c'est finalement la reine Marie de Blois, en septembre 1391, qui réussit à convaincre les habitants de Cannes et de Mougins de détruire le village et son château. Seule la tour résiste partiellement à l'assaut...
Henri Thomas, marquis de La Garde sans descendance, transmet ses biens à sa mort, en 1742, à la famille Marck-Tripoli de Panisse-Passis. Les nouveaux propriétaires du château de Villeneuve-Loubet font restaurer la tour de La Madone en 1877 et installent une statue de la Vierge en son sommet, d'où probablement son nom actuel.
La tour de La Madone a été inscrite au titre des monuments historiques le 14 décembre 1989.
Note: Prière de bien recamoufler la cache avec ces deux "couches". L'endroit est exigu et pas mal de moldus viennent s'y aventurer.