Los restos del castillo que da nombre a la localidad se encuentran sobre un montículo arenoso situado encima de un talud que domina el río Valdavia. Está formado por una torre protegida por una barrera circular. Su origen probablemente corresponda a las primeras épocas de la repoblación, en el siglo X, como fortaleza avanzada con funciones de vigilancia para prevenir los posibles ataques musulmanes. La mención más antigua del castillo que se conoce es en el primer testamento de Alfonso VIII, fechado en 1204.
La torre es de planta rectangular con unas medidas interiores de 6,30 por 6,70 metros. Conserva parte del lienzo Sudoeste, el Noroeste completo, mientras que del Nordeste falta una esquina, y el Sureste prácticamente ha desaparecido quedando únicamente la esquina Sur del mismo. Está construida con muros de cal y canto rodado de 1,30 metros de espesor, sin que se conserven vestigios de su revestimiento de mampostería, utilizado en 1832 para la construcción de la torre parroquial.
En la parte Sur del montículo se encuentran parte de una fuerte barrera de hormigón macizo, con 2 metros de espesor y varios de altura, que seguramente rodeaba la base del montículo excepto por el Este donde el propio talud y el río servían de barrera natural.
Según una descripción existente a finales del siglo XIII la fortaleza tenía buen aposento para el alcaide, estando cercada por cavas y barbacanas, contando con puentes levadizos. Dos siglos más tarde ya se encontraba muy deteriorada. En 1594 se nombra alcaide de la misma a Jaques Gómez de la Vega, vecino de Saldaña.
En 1797 Gaspar Melchor de Jovellanos, en su obra Diario, describe la fortaleza como "alta torre de piedra; todo lo demás de tapial debajo, amasado con masa; algo de adobes". A mediados del siglo XIX se encontraba en estado ruionoso según Pascual Madoz.
Además del castillo, también existío en la localidad un palacio construido por Mencía de Cisneros a principios del siglo XV.
Alfonso VIII en 1176 dona la villa a Pedro de Aries, prior de la Orden de San Juan de Jerusalén. A mediados del siglo XIII la esposa de Alfonso X el Sabio se la entrega a su hijo, el infante don Fernando, el cual muere joven pasando el señorío en 1279 a su sobrino don Luis, hijo de su hermano del mismo nombre. Con la muerte de éste pasa a su madre doña Juana de Manzanedo quien intercambia temporalmente con María de Molina la villa por la de Astudillo.
Juana de Manzanedo la dona en 1305 a su sobrina doña Mencía Manzanedo, casada con Arias González, señor de Cisneros. En 1352 es lugar solariego de su hijo mayor Juan Rodríguez de Cisneros, que dos años más tarde recibe del rey Pedro I la villa de Guardo. En esta época la localidad paga al rey servicios y monedas, pero está exenta de martiniega, fonsadera y yantar. Además, el que tiene dos bueyes paga al señor en concepto de infurción 16 celemines de trigo, 5 cántaras de mosto, 5 maravedís de carne y una serna cada 15 días. Incluida en el Arciprestazgo de Abia, obispado de Palencia, tiene dos iglesias dedicadasa Santa Olalla y San Quirce.
Tras la muerte de sus hijos varones, pasa el señorío a su hija menor Mencía de Cisneros, viuda de García Lasso de la Vega, hijo de los anteriores señores de la villa de Guardo, fallecido en 1367.
Su hija, Leonor de la Vega, fue una de las mujeres más poderosas del reino al tener los derechos familiares de los Vega, Cisneros, Manzanedo y Padilla, a los que unió el poder adquirido por sus matrimonios con don Juan Téllez y, posteriormente, con Diego Hurtado de Mendoza, Almirante Mayor de Castilla. La sucede su hijo Gonzalo Ruiz de la Vega casado doña Mencía Téllez de Toledo, dama de la reina. A su muerte en 1456, su enorme patrimonio se dispersa, haciéndose cargo de los señoríos de Castrillo y Guardo su hija mayor Leonor de Mendoza y de la Vega. Enfrentada por la herencia con su tío, el Marqués de Santillana, que creía tener derechos a la misma, ha de intervenir el rey Enrique IV para evitar la lucha familiar.
Se casa con Diego de Sandoval, que firma un compromiso con el Marqués de Santillana con el fin de proteger los derechos de su única hija, doña Mencía de la Vega, que en 1514 hace testamento a favor de su sobrino Diego Hurtado de Mendoza, tercer Duque del Infantado.
La localidad aparece en el Censo de Pecheros de 1528 con 167 vecinos pecheros a los que asignan la cantidad de 20.370 maravedís aunque solo pagan 14.290. En 1591 cuenta con 152 vecinos, de los que 137 son pecheros, 4 hidalgos y 11 pertenecen al cléro secular. Según los datos eclesiásticos de 1598 la iglesia de San Quirce cuenta con 63 almas, mientras que en Santa Leocadia son 44.
Cuando se confecciona el Censo de la Sal en 1631 Castrillo de Villavega forma parte de la Tierra de Saldaña, localidad en la que hace el acopio de sal y donde figura con 139 vecinos, 43 cabezas de ganado mayor y 1.641 de menor, así como con una escritura para el suministro de 33 fanegas de sal anuales. Sin embargo, para el pago de alcabalas y servicio de millones está incluida en la Merindad de Carrión donde consta con 133 vecinos y escritura por 36 fanegas de sal, procedentes de la salina de Poza.
A mediados del siglo XVIII la villa es de señorío de la Duquesa del Infantado, que recibe por humazga 132 reales y 12 maravedís repartidos entre los vecinos; por portazgo 150 reales pagados de los propios de la villa; y otros 150 reales en concepto de castillería, cantidad que se estima se devenga por los que vienen a vender a la feria que se celebra en la localidad.
El vecindario está formado por 196 vecinos en el que se incluyen las viudas y 4 pertenecientes al estado noble, con 218 casas habitables de las que 12 están deshabitadas, además de otra más inhabitable. Cuenta asimismo con 4 paneras, 9 pajares, 169 bodegas, 29 lagares aunque uno esta arruinado, 8 palomares y un tejar.
Según datos de 1768 la localidad tiene 571 habitantes, de los que 310 pertenecen a la parroqua de San Quirce y 261 a la de Santa Leocadia. Entre ellos hay 5 hidalgos y 2 pertenecientes al Real Servicio. Tres años después hay en Castrillo 8 cofradías que celebran anualmente 9 fiestas por un importe de 16.988 reales de vellón.
En 1787 la villa de Castrillo de Villavega figura como señorío secular, en el partido de Carrión, Intendencia de Toro, y con un alcalde ordinario como autoridad. Tiene una población de 837 habitantes, de los que 424 son hombres y 413 mujeres. Por ocupaciones hay 113 jornaleros, 50 labradores, 23 artesanos, 15 criados, 7 hidalgos, 6 estudiantes, 4 militares, 1 escribano y 1 dependiente de las cruzadas, además de 6 tenientes de cura, 4 beneficiados y 3 sacristanes.
La población en 1828 asciende a 209 vecinos, 953 habitantes, con una única parroquia. Según datos oficiales en 1843 se reduce a 130 vecinos, de los que 95 son electores.
A mediados de siglo la villa cuenta con 145 casas, ayuntamiento en el que se encuentra la cárcel y escuela de primeras letras a la que asisten 109 niños y niñas atendidos por un maestro que está dotado con 1.000 reales. Existen además 4 molinos de harina y otro de linaza. Cuenta con un vecindario de 687 habitantes, considerados como 132 vecinos.
Dispone en 1877 de una población de derecho de 916 habitantes formados por 467 varones y 449 hembras. Cinco años más tarde se citan 900 habitantes y un casco urbano formado por 374 edificios de los que 123 están inhabitados y 3 lo están temporalmente.
La actual iglesia parroquial está dedicada a San Quirico, y conserva una portada románica, tal vez de una edificación anterior, ya que la construcción existente actualmente es de ladrillo y mampostería. En su interior destaca el retablo del altar mayor del siglo XVII.
También en el casco urbano se pueden contemplar las ermitas de la Virgen del Camino del siglo XV con artesonado mudejar del XVI, la del Santo Cristo del Humilladero y la de San Sebastián.