Mandado edificar hacia 1440 por don Alonso Pérez de Vivero, vizconde de Altamira y contador de Juan II,
este castillo-palacio originariamente torreado en sus esquinas acogió el 19 de octubre de 1469 el matrimonio
de doña Isabel de Castilla y don Fernando de Aragón, en la denominada «Sala Rica».
En 1475 los monarcas ordenan derribar torres y baluartes, compran la casa-palacio y la entregan a la Chancillería
dándole un nuevo uso y transformando los salones palaciegos en salas de audiencia.
Aquí contrajeron matrimonio los Reyes Católicos
El edificio conserva su vieja estructura de palacio gótico-mudéjar del siglo XV.
Destaca el artesonado mudéjar de la sala principal. Actualmente, alberga el Archivo Histórico Provincial.
