El promotor de este castillo fue Alonso de Fonseca, arzobispo de Sevilla, que en 1453 recibió el permiso del Rey Juan II de Castilla. De los Fonseca pasó a manos de la Casa de Alba, y en 1928 la Dirección General de Bellas Artes lo declaró Monumento Histórico Nacional, por lo que pasó a formar parte del Tesoro Artístico Español. En el año 1954, el edificio comenzó a ser propiedad del Ministerio de Agricultura, cedido por los Alba, para que se instalara allí la Escuela de Capacitación Forestal, que hoy sigue funcionando.