La construcción de Castillo de Cáceres fue iniciada por D. Diego de Ovando de Cáceres a principios del siglo XVI en las tierras cedidas por supadre, D. Diego de Cáceres. La obra fue llevada a cabo por el maestro D. Pedro de Larrea, maestro de obras de la Orden de Alcántara. En su construcción se invirtieron mil ducados que fueron financiados con partes de la dote de la esposa de D. Diego de Ovando, Doña Teresa Rol de la Cerda, razón por la cual las armas de ambos cónyuges se encuentran sobre la portada principal.

El castillo se distribuye en torno a un gran patio central en cuyas esquinas se levantan 4 torres, 3 circulares y la cuarta, la del homenaje, de forma cuadrangular. Parece que hay vestigios anteriores y que el castillo fue construido poco a poco dada alguna peculiaridad arquitectónica que se puede ver en la galería porticada del patio.

Muy cerca del castillo, se construyó una capilla ordenada por el mismo Diego de Cáceres, después de fallecida su segunda esposa, siendo la capilla una construcción discreta, con un pórtico elevado sobre columnas y capiteles labrados.

Dicha ermita también se ha restaurado respetando todos los elementos originales y la advocación de la misma es a La Sagrada Familia, lo que se deduce de la talla situada en el retablo.

Este castillo siempre ha estado muy vinculado a “su hermano” el castillo de la Arguijuela de Abajo que está a sólo 500 metros y que fue construido por D. Diego para su madre, de ahí las diferencias de tamaño y ubicación.