O castelo de Monforte é mencionado no Tratado de Alcanizes, assinado por D. Dinis, em 1297, e deu-lhe a posse do território de Ribacôa, até então do domínio leonês. Fica situado perto do Bizarril, freguesia do Colmeal, na margem direita do rio Côa, no cimo de um agreste monte. Hoje, nada mais resta do que escassas ruínas dessa antiga fortaleza.
Numa colina fronteira a esta, e em plano inferior, encontra-se a ermida de Nossa Senhora de Monforte. Conta a lenda que, no tempo em que os mouros viveram na região, construíram um castelo nas imediações do rio Côa.
Quando, anos mais tarde, os cristãos reconquistaram a região, decidiram construir uma capela ligada ao castelo. Com verdadeira fé, começaram a erguer paredes do futuro templo. Contudo, um fato inédito impedia o prosseguimento da obra. O trabalho que realizavam durante o dia, era destruído à noite, desaparecendo as ferramentas que os trabalhadores usavam, indo encontrá-las noutro local.
Pensando tratar-se de alguma patifaria, procuraram por todo o lado, até que as foram encontrar no monte próximo, situado um pouco mais abaixo. Os fiéis não esmoreceram e reiniciaram o trabalho destruído, com a mesma fé e vigor. Qual não foi a sua surpresa quando, ao outro dia verificaram que tinha sucedido o mesmo que no dia anterior. Deslocaram-se novamente ao monte próximo para recolher as ferramentas, quando descobriram, no meio da vegetação uma imagem de Nossa Senhora.
Porém, tantas vezes se repetiu o mesmo fato que chegaram à conclusão que ali andava mão da ““Senhora de Monforte“”. Ela não queria a capela naquele local, usando aquele processo para lhes dar sinal da sua vontade.
Desistindo do intento, começaram a construir o templo no topo da colina onde fora encontrada a imagem. Estava feita a vontade de Nossa Senhora. Ainda hoje, o povo se desloca, no Domingo de Pascoela, para celebrar a concorrida festa em Sua Honra.