O castelo medieval apresenta planta quadrada, com muralhas de cerca de sessenta metros de lado, reforçadas, nos ângulos Oeste e Leste, por grandes torreões de planta circular. A sua face Noroeste e parte da Nordeste eram comuns à cerca da vila. Em seu interior ergueu-se a igreja matriz, sede da primeira paróquia da vila, e que hoje é o importante Santuário de Nossa Senhora da Conceição de Vila Viçosa, proclamada padroeira de Portugal em 1646.
A Torre de Menagem só foi erguida sob o reinado de D. Fernando, afastada do castelo, em face de uma porta rasgada a meio do troço Sudoeste da cerca da vila, à qual se ligava por um passadiço.
Delimitando uma área de cerca de três hectares, a cerca da vila, de planta pentagonal irregular, é rasgada por diversas portas, entre as quais a chamada Porta de Évora, a Porta de Estremoz e a Porta de Olivença.
Embora não haja informações seguras, a julgar pelo testemunho de lápides encontradas na região, acredita-se que a primitiva ocupação humana deste local remonte à Invasão romana da Península Ibérica. Por ser vizinha à estrada romana que comunicava Évora a Mérida, alguns autores acreditam que essa ocupação de sua elevação tenha sido efectuada por alguma pequena fortificação.