Su castillo, emplazado sobre un otero a 1.150 metros de altura, se situaba en una estratégica posición desde donde permitía controlar un importante nudo de comunicaciones, incluido el acceso al puerto que comunica la meseta con el reino de Asturias.
La primera referencia que se tiene sobre este castillo la encontramos en 1201, en la que aparece don Osorio como tenente del mismo.
Tanto la villa de Guardo como su tierra tenían la obligación de colaborar en el mantenimiento de la fortaleza aportando los materiales necesarios para poder llevar a cabo las obras. No obstante Gaspar de Córdoba alcaide de la fortaleza en 1520 intenta cobrar un impuesto para el arreglo de la misma. Los vecinos se oponen y recurren el Duque del Infantado, su señor, que les da la razón.
En plena Guerra de la Independencia, las tropas francesas estuvieron en Guardo. Tomaron acomodo en la iglesia de San Juan. Allí metieron los caballos y acamparon. No usaron el Castillo por estar en ruinas. Desde aquí controlaban toda esta zona y los pasos hacia Potes. Una vez más, la villa guardense iba a desempeñar su papel estratégico como cruce de caminos.
A mediados del siglo XIX Pascual Madoz al hablar de Guardo indica que "hay una colina de bástante elevación, sobre la cual se ve una fortaleza antigua arruinada y algunos edificios".
Con la desaparición de los señoríos en 1837 la propiedad del castillo ha pasado al concejo que en 1892 vende sus piedras a Santiago Merino para la construcción de su casa, quien a su vez dona las piedras sobrantes para la edificación de las estaciones del ferrocarril que se está construyendo.
También autoriza el concejo la explotación en una de las laderas del castillo de una cantera de piedra caliza para su uso en la construcción del ferrocarril, carreteras y arreglo de calles. Las explosiones de la cantera ayudaron al derrumbe de los muros de la fortificación.
Las excavaciones realizadas entre 1991 y 1994 permitieron sacar a la luz diversos restos de la torre, que parece seccionada horizontalmente. Así, el muro NE, único que se muestra entero, tiene una longitud de 14 metros y una anchura de 2,50. Se asienta sobre un zócalo que sobresale medio metro. Su altura máxima, debido a las irregularidades del terreno, es de 1,70.
De los lienzos NO y SE son visibles 8 y 3,5 metros, respectivamente, al estar el resto oculto bajo el terreno. La anchura es también de 2,50. Todo el conjunto está construido con mampostería. Rodea por el NE y SE una barrera que se separa apenas medio metro de la torre, conservándose una altura máxima de 1,40.
Junto a la fortaleza se encontraba la iglesia de Santa María del Castillo, que a mediados del siglo XVIII pasa a ser considerada como ermita para desaparecer sus últimas piedras en 1895.