Le château a été édifié entre 1141 et 1148 par les seigneurs chanoines. Cette construction dont on découvre les vestiges : chapelle, poterne, tour carrée, comprenait deux enceintes protégées par des murailles équipées de six tours réalisées, sans doute, à des époques différentes. Derrière les murs de défense, se trouvait un "bayle" intérieur réservé aux seigneurs avec donjon, chapelle, corps de logis, citerne privée, prison et un "bayle" extérieur qui renfermait les habitations de la population, une citerne publique et un hôpital rudimentaire, ainsi qu'un moulin et un four à cuire le pain.
Il fut démantelé en 1595 à la demande des consuls de Marseille au cours des guerres de religion.
Seul bâtiment à y avoir échappé est la chapelle Notre-Dame, qui sera vendue comme Bien National le 20 novembre 1792, mais depuis les Allaudiens ne cesseront de manifester leurs dévotions à leur Bonne Mère.