Junto a la localidad de Mudá, en el margen izquierdo del arroyo del mismo nombre, se levanta una gran peña conocida como "Laltara". De la fortaleza que se levantaba en su cima hoy no queda ningún resto, tan sólo el nombre Trascastillo, con el que se conoce el pago cercano. El acceso a lo alto de la roca, de cerca de unos 40 metros de altura, se hace por la cara Nordeste a través de unas empinadas escaleras que permiten alcanzar su cima, hoy convertida en un mirador desde donde se tienen unas espléndidas vistas del valle.
Su parte superior presenta un contorno irregular con una longitud máxima de 21 metros en sentido Este-Oeste y una anchura que va desde los 11 metros de máxima a los 6 de mínima, en el lado Oeste. La esquina Nordeste presenta una depresión de unos 2 metros abriéndose una pequeña cavidad en la roca en la parte central de la peña.
Según afirma el historiador Julio González, durante la segunda mitad del siglo V y parte del VI, Mudá se convirtió en fortaleza de los visigodos para protegerse de las incursiones de suevos y cántabros. Tras la invasión árabe se repuebla la zona entre los siglos VIII y IX, aunque es probable que no llegase a estar totalmente despoblada dado el refugio que proporcionaban las cercanas montañas ante los ataques musulmanes. El propio nombre de Mudá procede de la voz prerromana "muga" que significa límite o mojón.
Formó parte de la línea defensiva del Norte palentino junto con las fortificaciones de Guardo, Muñeca, San Román de Entrepeñas, Castrejón de la Peña, Cervera de Pisuerga, Tremaya, Villanueva de la Torre, Aguilar, Perazancas y Ebur. Hay referencias de su existencia en el siglo XI, aunque pudo ser anterior.
Fue el centro político de la zona hasta que hacia el 811, pasa a Cervera de Pisuerga una vez poblada y organizada esta última localidad. En 1059 aparece con el nombre de "Mudaue" en el diploma por el que Fernando I determina los límites del obispado de Palencia.
Ferrant Petrez figura en 1125 como tenente en Cervera y Mudá. Años después tenía ambos castillos Rodrigo Gómez de Manzanedo por encargo de Alfonso VII, continuando con la tenencia su hijo Rodrigo Gómez González, confirmado en el cargo por Alfonso VIII, a las que une la fortaleza de Piedras Negras.
A mediados del siglo XIII hay un único tenente que está al frente de los alfoces de Piedras Negras, Mudá, Cervera, Tremaya y Resoba, dado paso poco después a la merindad de Liébana-Pernía en la que se integran Cervera, Mudá, Peñas Negras y Resoba.
Según el Becerro de las Behetrías, confeccionado a mediados del siglo XIV, dos terceras partes de la localidad son solariegas de Don Tello y de los hijos de Fernando Díaz Duque, que reciben por infurción anualmente de sus vasallos seis fanegas de centeno y nueve maravedís el primero, y dos fanegas de centeno y seis dineros los segundos.
El tercio restante es abadengo del abad de Aguilar de Campoo, que recibe una fanega de centeno del único vasallo que tiene en la localidad. Pagan al Rey moneda y servicios pero no yantar ni fonsadera.
En 1443 figura en poder de Juan Fernández Manrique, que cambia con Fernando de Velasco este lugar y los de Barcenilla y Vergaño por la localidad de Piña de Campos.
La población se incluye en el censo de 1528 dentro del Condado de Pernía y Tierra de Castrejón, con 20 vecinos pecheros, mientras que a finales de siglo, el censo eclesiástico confeccionado en 1589, indica el número de 26 vecinos.
La población se incluye en el censo de 1528 dentro del Condado de Pernía y Tierra de Castrejón, con 20 vecinos pecheros, mientras que la iglesia en 1589 indica el número de 26 vecinos.
Según los datos del Censo de la Sal, elaborado en 1631, pertenece a la jurisdicción de Cervera y tiene un concierto para suministro anual de 20 fanegas de sal.
Mediado el siglo XVIII es señorío del Conde de Siruela que recibe anualmente un real y cuatro maravedís en concepto de martiniega; once reales y dieciséis maravedís por derecho de pedido; mientras que por señorío treinta y dos reales en que se valoran cuatro carros de paja. Con una población de 43 vecinos, el casco urbano lo forman veintitrés casas habitables y otras siete inhabitables, por las que el Conde de Siruela recibe 417 reales y ocho maravedís por establecimiento y suelo.
En 1768 la población la forman 93 varones y 81 hembras, para un total de 174 personas. Disminuye a 151 habitantes en 1787, 69 hombres y 82 mujeres, que se distribuyen por ocupación en 20 labradores, 5 criados, 4 fabricantes, 2 beneficiados, un teniente de cura y un estudiante, siendo el resto menores o sin profesión específica.
El Diccionario geográfico de Sebastián Miñano de 1828 indica la existencia de 40 vecinos, 158 habitantes, mientras que el confeccionado en 1850 por Pascual Madoz menciona 23 vecinos, 120 almas, y la existencia de 28 casas. En ambos casos denominan Peña de los Huevos a la mole caliza que domina el pueblo. Pocos años después, en 1874, se indican 203 habitantes y 31 casas en la localidad.
La iglesia parroquial está dedicada a San Martín. Construida en el siglo XVI sobre otra románica anterior del siglo XIII de la que se conservan restos en la portada y una pequeña ventana al Sureste, así como en la espadaña tardorománica. Destaca en el interior el retablo barroco del XVIII y una cruz parroquial de plata del segundo tercio del XVI. Está declarada Monumento Histórico-Artístico al igual que la ermita del Oteruelo, que se levanta en una pequeña loma a las afueras del pueblo y que conserva en el ábside pinturas murales del XV.