El castillo se encuentra situado en un alto de unos 1150m, a un kilómetro de la población en dirección sur, entre los dos cortados que forman el Barranco de los Pilones y el de las Gargantas, que desembocan en el río Caracena. Las más espectaculares imágenes se obtienen desde el Llano del Castillo y desde la difícil subida a los corrales del Chaparral, sobre el Barranco de los Cotos.
Construido en mampostería, se aprecian claramente los restos de la construcción original, una muralla que recorre el alto entre los barrancos y que sirve a su vez de base para la posterior torre del homenaje y el muro norte del recinto interior, ambos del S. XV. Cuenta con un doble recinto con foso artificial y un acceso en zig-zag muy protegido. El recinto interior es de planta rectangular con la torre del homenaje en la esquina sureste. El exterior sigue el contorno del interior, con diez cubos huecos con aditamentos artilleros. Es posible aún apreciar los restos de salas abovedadas, aljibes y garitones volados.Está situado a orillas del río Caracena o Adanta, a unos 30 km. al sur de El Burgo de Osma. Limita al sur con las localidades de Tarancueña, Cañicera y Valderromán, al oeste con la Hoz de Arriba y la Hoz de Abajo, al norte con el municipio de Carrascosa de Abajo y al este con el despoblado de Pozuelo, y las localidades de La Perera y Madruédano. El acceso a Caracena se puede realizar a través de la carretera local SO-V-1601 que parte de La Rasa y termina precisamente en Caracena, aunque actualmente sale un enlace hacia Valderromán que da acceso a los pueblos del sur de la Comunidad de Castilla y León tales como Valderromán, Tarancueña, Tiermes, Retortillo de Soria y ya en la provincia de Segovia con Ayllón.