Há também no Castelo de Silves uma lenda de um mouro encantado. Ele apareceria, com o seu chapéu de aba larga, de manhã, na parte norte do Castelo, desafiando as pobres lavadeiras que iam lavar às pequenas toalhas de água que por aí surgiam. De um modo geral, as lavadeiras faziam-lhe surriada e ele vingava-se desencadeando sobre elas chuvas de pedra.
Quando no Castelo foram instaladas as prisões, o mouro desapareceu. No entanto os presos diziam que todas as noites sentiam, pela meia noite, um estremecimento em todo o Castelo e ouviam, até de madrugada, o mouro remexendo em papéis velhos.