El castillo de Magaz se situaba sobre el cerro que con sus 870 metros domina la localidad y la margen derecha del río Pisuerga. Escasos son los restos que han llegado hasta nuestros días, de los que se conserva en el lado Norte parte de un lienzo de mampostería de 2,5 metros de altura y 6 de longitud, bajo él se aprecia el foso que rodeaba todo este frente al ser la vertiente más accesible.
En el Sur también aparecen restos de mampostería de menor importancia. En la cima, un poco hundidos con respecto al nivel del suelo, se encuentran restos de una bóveda de cañón que pudieran corresponder a un aljibe o dependencia subterránea de la torre. En el siglo XVI se encuentra muy destrozado y se llevan a cabo reparaciones para las que el obispo de Palencia obliga a varias localidades de su jurisdicción a contribuir con el aporte de piedra. Tras la denuncia de estas villas, una sentencia de 1550 prohíbe esta exigencia. A finales del siglo XVIII se encontraba casi arruinado, y a mediados del XIX ya estaba en ruinas.
De la antigua muralla que rodeaba la localidad únicamente se conoce que parte de la misma fue derribada por vecinos de Palencia en 1465. Ese año varios nobles castellanos habían depuesto a Enrique IV y nombrado rey a su hermano Alfonso al que apoya en la capital Sancho de Castilla que levanta a la población contra el obispo, partidario del monarca destronado. Los palentinos tras destruir el alcázar del obispo, se dirigen a Magaz en cuyo castillo se ha refugiado el prelado, y posteriormente a Villamuriel donde toman una casa propiedad de la iglesia.
En la zona hubo asentamientos humanos desde la Edad del Bronce, como lo atestiguan los restos arqueológicos descubiertos en el pago de Los Llanos. Repoblada en el año 905 por Alfonso III, se levanta el castillo al igual que los de Dueñas y Tariego de Cerrato, para controlar el paso por el valle del Pisuerga. Todas estas fortificaciones se comunicaban visualmente entre si.
En 1122 la reina doña Urraca entrega el castillo y la villa a Pedro I, obispo de Palencia. Alfonso VII, confirma esta donación en 1135, aunque más tarde la fortaleza figura entre las incluidas por el rey Alfonso VIII en la dote de su hija Berenguela. Durante la minoría de edad de Fernando IV, en 1297, la fortificación cae en poder de los partidarios de Alfonso de la Cerda, aunque es recuperado por Álvaro Gómez Carrillo, obispo de Palencia y sobrino de la reina madre María de Molina.
A primeros de 1470 la fortaleza sirve de prisión por cuestiones privadas de familia al primer conde de Ribadeo, Rodrigo de Villandrando, hasta su puesta en libertad gracias al obispo don Luis de Acuña.
De la contribución de 835.223 maravedís que la reina Isabel "la Católica" impone a merindad de Cerrato en 1475, a Magaz le corresponde aportar 3.168. También se conoce que en 1514 paga la cantidad de 28.000 maravedís en concepto de alcabalas.
El 23 de enero de 1521, durante la Guerra de las Comunidades, el castillo resistió el ataque de las tropas del obispo Acuña. La guarnición ordinaria de la fortaleza al mando del comendador de Montijo García Ruiz de la Mota, estaba reforzada por 6 hombres a caballo y 47 peones, aunque el escaso espacio disponible para caballerías impidió alojar a los 20 jinetes mandados en su apoyo por la ciudad de Burgos.
No corrió la misma suerte el pueblo que fue saqueado, llevándose hasta las cruces y ornamentos de la iglesia.
Al año siguiente figura como alcaide Alfonso Fernández de Madrid, arcediano del Alcor. Datos del censo de 1528 señalan que los 106 vecinos pecheros pagan 11.240 maravedís en concepto de servicios a su majestad.
Felipe II, en 1574, consigue la aprobación del Papa, para que castillo y villa sean apartados de la jurisdicción eclesiástica, cosa que finalmente ocurre mediante una carta privilegio de 1580 a cambio de un juro de 9.215 maravedís. Cobra por esas fechas el obispado palentino 1.764 maravedís en concepto de martiniega que se reparten entre 800 para el Obispo y 964 para el Deán y Cabildo.
Según datos eclesiásticos de 1589 la localidad cuenta con 101 vecinos. Dos años más tarde se registran 94 vecinos, de los que 85 son pecheros, 6 hidalgos y 3 pertenecen al clero secular.
Por Real Cédula de 11 de marzo de 1639, Felipe IV autoriza la venta a Bartolomé Spinola, conde de Pezuela de las Torres. Los 26 vecinos que entonces tenía la villa no pueden comprar su libertad. Tras la muerte del conde, el Consejo de Hacienda vuelve a vender la localidad y el castillo en 1656 a Lorenzo de Tejada, caballero de la orden de Santiago, por 2.549.108 maravedís de plata, de los que 425.000 corresponden al castillo y dos escribanías renunciables y 2.124.108 al término.
El censo de 1712 refleja la existencia de 19 vecinos, 3 viudas contadas como medio vecino cada una, y 18 pobres. Hay además 1 hidalgo y 1 mendicante que no forman parte del vecindario.
Figura en 1752 como señorío de Luis de Dibuja y Villa Gómez, con 51 vecinos entre los que se incluyen 3 eclesiásticos y 4 viudas contadas como 2 vecinos. El caserío lo forman 55 casas, una de las cuales es inhabitable.
El número de habitantes en 1768 asciende a 261, de los que 128 son hombres y 133 mujeres. Tres años más tarde se conoce la existencia de 3 cofradías: La Santa Veracruz, la de Ánimas y la de Nuestra Señora de Villaverde, San Antonio y San Vicente, que celebran varias funciones, misas y dan refresco o colación.
Como señorío de Andrés de Diguja aparece en 1787, con 266 habitantes que por ocupaciones se reparten entre 30 jornaleros, 15 labradores, 2 militares, 1 estudiante y 1 escribano. Relacionados con la iglesia hay 3 beneficiados, 1 teniente de cura, 1 sacristán y 1 de la orden tercera.
Durante la Guerra de la Independencia la localidad es ocupada por las tropas francesas encargadas de proteger el Camino Real, que comunica Valladolid con Burgos.
En 1828 los 345 habitantes de la villa son considerados como 98 vecinos, que se reducen oficialmente a 80 vecinos en 1843 de los que 70 son electores.
A mediados del siglo XVIII el casco urbano esta formado por 78 casas de pobre construcción, generalmente de una sola planta y cuenta con casa consistorial, pósito y escuela, con una población de 380 personas, 73 vecinos.
Se indica la existencia de 560 habitantes, 120 casas, 90 cuevas, 1 ermita y varios pajares en 1874. Tres años más tarde la población de derecho asciende a 294 hombres y 282 mujeres, para un total de 576 personas.
En el casco urbano destaca la iglesia parroquial de San Mames, siglo XII, de estilo románico aunque con varias remodelaciones posteriores, en la que destaca su ábside semicircular. Fuera de la localidad, junto al cementerio, se encuentra la ermita dedicada a la Nuestra Señora de Villaverde.