Las primeras manifestaciones de la ocupación del cerro de Gormaz se dieron en la Edad de Bronce por parte de pequeños grupos ganaderos.
Las siguientes noticias arqueológicas provienen de una necrópolis prerromana del siglo IV a.C. situada en el paraje cercano de La Requijada y formada por unas 1200 tumbas. En la ladera sur se han encontrado restos de un castro celta, así como restos romanos y visigodos. El puente que cruza el Duero, con 18 ojos, es de origen romano, aunque fue reconstruido por los árabes y en 1864.
Sin embargo la época más conocida de esta localidad es la dominación árabe, en el que se convierte en un punto importante de lucha entre árabes y cristianos.
En el siglo IX los árabes construyeron un pequeño castillo en el lado noroeste del cerro, que sería conquistado en el 912 por los cristianos. Reconquistado de nuevo por los árabes durante el califato de Al-Hakem II, el general Galib ordena su reconstrucción entre los años 955 al 966 con el objetivo de reforzar a Medinaceli.
El castillo de Gormaz se convertiría así en la más grande fortaleza europea de su época: con un perímetro amurallado de 1200 m, 446 m de largo y 28 torres. Su situación y sus excelentes condiciones de visibilidad permitían controlar una de las rutas de acceso hacia el norte y el río Duero, fue una de las posiciones estratégicas más codiciadas por musulmanes y cristianos durante los siglos IX y X.