Hasta el año 1881, el palacio albergaba las dependencias del ayuntamiento, hasta la construcción del actual edificio en la Plaza Mayor. Su nota característica destaca en la sobriedad castellana del conjunto. Actualmente está dividido en tres casas, lo que ha determinado que su distribución original se perdiera en gran parte. El edificio corresponde a un arquetipo medieval, con encuadre central y dos torreones a ambos lados, perdiéndose el torreón derecho, por hundimiento. La construcción actual se alza en tres plantas, y el torreón constituye una planta más.

El aspecto exterior se caracteriza por muro de mampostería, en la torre, y encuadre de sillería, en la fachada principal. El grosor de los muros, y sus escasos huecos denotan la necesidad de proteger las residencias señoriales ante el peligro que corría la villa, como población fronteriza, en los agitados tiempos de la Edad Media.

Destaca su portón, adintelado por gruesas dovelas de piedra, dispuestas simétricamente. Sobre éste se sitúa el balcón principal, que conserva el primitivo balaustre de hierro forjado, característico por la sobriedad de líneas y adornos. Una franja escultórica, saliente de la pared, separando el muro de sillería del de mampostería adorna la ventana. También destaca la decoración escultórica renacentista realizada en una de las ventanas del torreón, con relieves e inscripciones, tachonada por un escudo ducal, cuyos antiguos motivos heráldicos han sido borrados por la erosión.

Del interior merece destacar el patio, de gran altura, donde encontramos un gran artesonado de madera en el techo, y una escalera señorial, digna de mención, donde accedemos a un primer piso. Las habitaciones en la planta noble se comunicaban a través de una galería porticada de columnas con capiteles sobrios, unidas por arcos de medio punto; la balaustrada está labrada en piedra. Tenía un salón principal, y nobles habitaciones señoriales con paredes decoradas al estilo del medievo.