Cómo proteger agentes encarnados impulsados por modelos fundacionales: ataques, defensas y evaluación en robótica

Los modelos fundacionales están reconfigurando el bucle de control robótico

Las mismas capacidades que hacen útiles a los modelos fundacionales también amplían el conjunto de entradas que un robot puede considerar relevantes para sus decisiones. Por lo general, los robots convencionales reciben objetivos estructurados, flujos de datos de sensores y API fijas. Los robots impulsados por modelos fundacionales pueden, además, leer instrucciones en lenguaje natural, texto presente en una escena, contenido recuperado de la web o mediante RAG, historial de interacciones, memoria a largo plazo, mensajes de otros agentes y observaciones multimodales heterogéneas. Cuando esta información pasa a formar parte del bucle de control, datos que normalmente se considerarían «contenido semántico» pueden adquirir autoridad física. En consecuencia, un adversario quizá no necesite comprometer directamente un controlador de motores, un nodo de ROS o un actuador: manipular la información en la que confía el modelo puede bastar para inducir al sistema a generar por sí solo un comportamiento elegido por el adversario.

Por qué la seguridad de los agentes encarnados difiere de la de los LLM que solo trabajan con texto

Los sistemas encarnados también introducen riesgos ausentes o mucho menos relevantes en los agentes de texto. En primer lugar, los ataques contra el entorno y los sensores deben respetar restricciones de realizabilidad física relacionadas con el ángulo de visión, la distancia, la oclusión, la iluminación y la dinámica. En segundo lugar, el control continuo genera acumulación temporal: un pequeño error en un paso puede alterar la siguiente observación y amplificarse a lo largo de un horizonte extenso. En tercer lugar, los errores pueden tener consecuencias físicas irreversibles, como colisiones, objetos que se caen o contactos peligrosos. En cuarto lugar, las defensas en tiempo de ejecución operan con presupuestos de latencia estrictos. En quinto lugar, los cambios entre representaciones heterogéneas —de píxeles a estado semántico, de lenguaje a planes y de planes a acciones ejecutables— crean múltiples transiciones de privilegios. Por tanto, la seguridad de la IA encarnada se entiende mejor como seguridad de agentes ciberfísicos, no como la simple suma de jailbreaks de LLM, visión adversaria y ciberseguridad robótica tradicional.

Qué abarcan los estudios existentes y qué sigue faltando

Sin embargo, cuando el objetivo es responder «¿dónde entra exactamente un ataque encarnado concreto en el sistema?», las clasificaciones basadas principalmente en mecanismos o tipos de modelo pueden seguir siendo ambiguas. Una puerta trasera puede implantarse durante el entrenamiento, pero activarse mediante lenguaje, un objeto físico, un patrón de estado o un bloque de acciones. La inyección de prompts puede proceder del usuario actual, de una pantalla del entorno, de un documento RAG o de otro robot. Un parche adversario puede corromper principalmente la percepción, pero también estar optimizado para secuestrar el razonamiento paso a paso o la generación continua de acciones. Si etiquetas como «puerta trasera», «inyección de prompts» o «parche» se tratan como superficies de ataque de primer nivel, se pierde la distinción entre cómo se implementa un ataque y dónde cruza por primera vez una frontera de confianza.

Nuestra perspectiva, preguntas de investigación y contribuciones

Estudiamos cinco preguntas de investigación:

• RQ1: ¿Cómo debe representarse un agente encarnado impulsado por un modelo fundacional como un sistema unificado de bucle cerrado y dónde deben trazarse sus fronteras de confianza?
• RQ2: ¿Qué fronteras de confianza son objetivo más frecuente de los ataques actuales y cómo se propagan los mecanismos de ataque entre capas hasta la ejecución física?
• RQ3: ¿Dónde se despliegan las defensas existentes y corresponde su cobertura a la distribución de las superficies de ataque expuestas?
• RQ4: ¿Qué métricas se utilizan actualmente en las capas de modelo, planificación, acción y física, y qué métricas de bucle cerrado siguen faltando?
• RQ5: A medida que se generalicen la memoria a largo plazo, los modelos del mundo, las VLA de extremo a extremo, la colaboración entre múltiples robots y la integración nube-borde, ¿qué problemas de seguridad deberían recibir prioridad?

Nuestras contribuciones son cuatro. En primer lugar, modelamos los agentes encarnados como un bucle cerrado de información y control que se extiende desde el desarrollo y la cadena de suministro hasta la ejecución física, distinguiendo explícitamente entre entrada del ataque, propagación y consecuencia. En segundo lugar, introducimos una taxonomía de cinco capas y doce superficies, junto con reglas de decisión que hacen que mecanismos como el jailbreak, las puertas traseras, el envenenamiento y la suplantación de sensores sean ortogonales a los puntos de entrada del sistema. En tercer lugar, ofrecemos un análisis cuantitativo del panorama basado en 58 registros de ataques y 61 de defensas, que revela asimetrías entre la atención dedicada a ataques y defensas. En cuarto lugar, conectamos la taxonomía con la evaluación y el despliegue, y derivamos una agenda de investigación centrada en el éxito de los ataques en bucle cerrado, la propagación causal a largo plazo, la realizabilidad física, la procedencia y las defensas composicionales.

Alcance y población de estudio

Nos centramos en sistemas encarnados en los que un LLM, VLM, VLA, modelo del mundo o modelo mundo-acción participa de forma sustancial en la percepción, la construcción del estado, la planificación de tareas, la generación de políticas, el uso de herramientas o el control de acciones. El alcance incluye arquitecturas jerárquicas de planificador basado en LLM más ejecutor de habilidades, navegación basada en VLM, manipulación VLA de extremo a extremo, robots móviles integrados con LLM, coordinación de múltiples robots mediante LLM y la infraestructura de ROS/ROS2, redes y modelos en la nube que se conecta directamente con estos sistemas.

Para no incluir indiscriminadamente todo el trabajo convencional sobre seguridad robótica, utilizamos tres niveles de inclusión:

• A–Núcleo: Estudios que investigan directamente ataques o defensas relacionados con componentes LLM, VLM, VLA o WAM en un bucle de control encarnado.
• B–Adyacente: Estudios centrados principalmente en VLA, conducción autónoma, navegación visión-lenguaje o mecanismos directamente transferibles a los sistemas objetivo.
• C–Extensión del sistema: Estudios que quizá no se centren en un modelo fundacional, pero que abarcan directamente fronteras de ROS, redes, múltiples robots o cadena de suministro que forman parte del sistema desplegado.

Este diseño mantiene el estudio centrado y, al mismo tiempo, preserva los riesgos de infraestructura que, de otro modo, quedarían artificialmente separados de la robótica impulsada por modelos fundacionales.

Corpus y límite temporal

El corpus utilizado en esta versión contiene 58 registros de ataques y 61 de defensas hasta el 15 de agosto de 2026. El corpus de ataques contiene 50 registros de nivel A–Núcleo, 3 de nivel B–Adyacente y 5 de nivel C–Extensión del sistema; el corpus de defensas contiene 36 registros de nivel A–Núcleo, 22 de nivel B–Adyacente y 3 de nivel C–Extensión del sistema. Utilizamos el SoK sobre robots impulsados por modelos fundacionales y el estudio sobre seguridad de VLA como fuentes semilla principales, los contrastamos con estudios sobre seguridad de agentes basados en LLM, riesgos de la robótica controlada por LLM y seguridad de modelos del mundo, e incluimos trabajos nuevos de mediados de 2026.

El término «casi exhaustivo» no debe interpretarse como una garantía literal de incluir todos los artículos de un área que cambia con rapidez. Muchos estudios de 2026 se publican primero como preprints en arXiv, y la asignación de sede o los detalles experimentales pueden cambiar. Por ello, tratamos el corpus como una instantánea dinámica, no como una bibliografía definitivamente cerrada.

Campos de codificación y principio de multietiquetado

Cada registro de ataque se codifica, como mínimo, con el año, el estado de publicación, el tipo de modelo, el nivel de inclusión, la etapa del ciclo de vida, el mecanismo de ataque, el código de superficie de ataque, el módulo objetivo principal, el acceso del atacante, el objetivo de seguridad, la validación física o en el mundo real, la plataforma de evaluación, un resumen del método y el resultado principal. Los registros de defensa incluyen además la etapa de defensa, el mecanismo de defensa, las superficies cubiertas, el módulo objetivo, el acceso requerido, el tipo de defensa y el entorno de validación.

Las superficies de ataque pueden tener varias etiquetas, pero exigimos distinguir entre la superficie de entrada primaria y las superficies de propagación u objetivo. Si un prompt malicioso del usuario modifica la planificación de tareas y finalmente produce una llamada peligrosa a una API, AS02 es la entrada primaria, mientras que AS08 y AS09 son objetivos posteriores. Si el atacante modifica directamente una habilidad del robot o un token de acción, AS09 se convierte en la superficie primaria. En el caso de las puertas traseras, la capacidad maliciosa implantada durante el entrenamiento se codifica como AS01, aunque los activadores durante el despliegue sean lingüísticos o visuales. Estas reglas impiden que el error físico final se recodifique indiscriminadamente como AS12.

Seis dimensiones de codificación

Utilizamos seis dimensiones complementarias para decidir cuál es la superficie primaria:

• Tipo de representación: Distinguimos entre tareas en lenguaje natural; imagen, audio o LiDAR sin procesar; estado estructurado; cadena de pensamiento o estado oculto; planes de tareas; código, JSON o tokens de acción; y mensajes de ROS.
• Etapa del ciclo de vida: Distinguimos las amenazas durante el desarrollo, relacionadas con el entrenamiento, el ajuste fino y la distribución del modelo, de los ataques durante el despliegue contra prompts, sensores, estados y redes.
• Origen y autoridad: Determinamos si la información procede de un usuario autenticado, del entorno, de RAG o de la memoria, de una herramienta, de un servicio en la nube o de otro robot.
• Ámbito de propagación: Distinguimos entre el compromiso dentro de un robot y la propagación entre robots, a través de memoria compartida o a escala de flota.
• Propiedad de seguridad: Tratamos la integridad, la disponibilidad, la confidencialidad o privacidad y la seguridad física como objetivos del ataque, no como superficies de ataque.

Limitaciones metodológicas

Hay tres limitaciones inevitables. En primer lugar, algunos artículos recientes siguen siendo preprints y su sede de publicación o sus detalles experimentales pueden cambiar. En segundo lugar, la codificación multietiqueta implica necesariamente cierto juicio, especialmente cuando las VLA de extremo a extremo acoplan estrechamente la percepción, el razonamiento y la generación de acciones. En tercer lugar, el número de artículos mide la atención investigadora, no la probabilidad de ataques en el mundo real; una superficie muy estudiada no es automáticamente más peligrosa durante el despliegue. Por tanto, el análisis cuantitativo debe interpretarse como un mapa de la densidad de investigación y del desequilibrio entre ataques y defensas, no como una estimación empírica de la frecuencia de incidentes.

Entrada, propagación, objetivo y consecuencia

Para un ataque, utilizamos una tupla que describe su superficie de entrada, trayectoria de propagación, objetivo y consecuencia.

La tupla representa la primera frontera comprometida por el ataque, las superficies de propagación u objetivo posteriores y la consecuencia resultante.

Esta distinción impide clasificar el ataque por su resultado final. Que un robot ejecute una acción peligrosa debido a una inyección de prompts no convierte AS12 en la superficie primaria. AS12 solo es primaria cuando el atacante manipula directamente trayectorias, comandos de actuadores, la lógica de parada o congelación, o una frontera de disponibilidad. Del mismo modo, un prompt malicioso que provoca una cadena de pensamiento incorrecta no se convierte automáticamente en un ataque AS07; AS07 es primaria cuando el objetivo directo es el razonamiento o una representación interna.

Capacidades del adversario y modelos de acceso

La bibliografía abarca adversarios de caja negra a caja blanca. Un adversario de caja negra puede proporcionar lenguaje, manipular objetos del entorno o consultar salidas. Un adversario de caja gris puede conocer la arquitectura, las interfaces de habilidades o parte del estado sin modificar todos los parámetros. Un adversario de caja blanca puede acceder a los pesos del modelo, los gradientes, los datos de entrenamiento o las representaciones internas. Un adversario a nivel de sistema puede alcanzar además tópicos de ROS, enlaces de red, credenciales, API en la nube o mensajes entre robots. La proximidad física es otra dimensión importante, ya que los parches, prompts impresos, texturas 3D, señales ópticas e inyecciones acústicas dependen de las condiciones de despliegue.

Seguridad, protección y privacidad

Utilizamos «seguridad» para referirnos a la protección frente a adversarios intencionados que atentan contra la integridad, la disponibilidad, la confidencialidad o privacidad, o la seguridad física, mientras que la protección también incluye fallos causados por errores benignos de percepción, errores de planificación, incertidumbre de la dinámica o inestabilidad del control. La consecuencia física final puede ser idéntica aunque la causalidad difiera. Percibir erróneamente un obstáculo de forma natural es un fallo de protección; un parche adversario que provoca deliberadamente el mismo error es un fallo de protección inducido por un ataque. VLALeaks demuestra además que los modelos encarnados pueden revelar información de pertenencia y otras propiedades de privacidad. Un marco maduro debería registrar por separado el adversario, la primera frontera, el objetivo de seguridad y la consecuencia física.

Por qué las superficies de ataque y los mecanismos de ataque deben ser ortogonales

Los mecanismos de ataque describen cómo se consigue el compromiso; las superficies de ataque describen dónde entra por primera vez. Una puerta trasera puede implantarse en los datos de entrenamiento, un modelo de percepción, una representación del estado o un generador de acciones. AS05 puede albergar parches adversarios, suplantación de sensores, activadores visuales o activadores de puertas traseras durante el despliegue. Por ello, evitamos etiquetas como «superficie de jailbreak» o «superficie de puerta trasera» y utilizamos el mecanismo como una segunda dimensión de codificación.

La separación también permite tratar ataques compuestos. TRAP utiliza un parche físico adversario, pero tiene como objetivo el razonamiento paso a paso de una VLA; AS05 puede registrarse como superficie de entrada y AS07 como objetivo interno crítico. RIPA abarca OCR, audio o voz a texto y LiDAR o canales de vectores de estado, y la superficie primaria se determina según si la primera corrupción afecta a un sensor sin procesar o a un estado estructurado. Cuando Prompts Control Robots muestra que pueden producirse en la misma cadena de ataque una inyección ambiental o indirecta AS04 y una propagación entre robots AS11.

Investigación sobre ataques: de la primera frontera comprometida a las consecuencias físicas

Esta sección examina la bibliografía sobre ataques utilizando las doce superficies. Para cada superficie preguntamos: ¿qué representación controla primero el adversario?, ¿cómo operan los mecanismos representativos?, ¿cómo se propagan sus efectos hasta los planes y las acciones?, y ¿qué limitaciones importantes persisten?

AS01: Ataques contra el modelo, los datos y la cadena de suministro

AS01 abarca los datos de entrenamiento, los ejemplos de ajuste fino, LoRA o adaptadores, los checkpoints, los modelos de percepción o política de terceros y los componentes dependientes. Cuando una capacidad maliciosa se codifica antes del despliegue, la superficie primaria sigue siendo AS01, aunque el activador en tiempo de ejecución llegue por lenguaje, visión o estado. Esta separación entre la superficie de implantación y el canal del activador evita clasificar erróneamente como ataques de percepción todas las puertas traseras activadas visualmente.

Se observan dos tendencias. En primer lugar, las puertas traseras encarnadas están pasando de activadores lingüísticos llamativos y salidas obviamente inseguras a condiciones ambientales, activadores basados en objetos físicos y desviaciones sutiles de la acción. Estos ataques son considerablemente más difíciles de detectar con filtros de texto dañino. En segundo lugar, las VLA de extremo a extremo acoplan la percepción y la generación de acciones dentro de un mismo modelo, lo que permite que objetivos definidos durante el entrenamiento incorporen directamente comportamientos maliciosos en distribuciones de control continuo sin producir nunca un plan lingüístico auditable por humanos.

El principal desafío defensivo es que un buen rendimiento en tareas limpias no demuestra que el sistema sea confiable. Las puertas traseras de alta calidad se optimizan explícitamente para conservar el éxito en condiciones benignas. Por tanto, los benchmarks estándar y un número reducido de prompts de seguridad son insuficientes. Para obtener garantías más sólidas se necesitan procedencia de los datos, integridad de pesos o adaptadores, análisis diferencial del modelo, búsqueda de activadores y pruebas de persistencia tras el ajuste fino posterior.

AS02: Instrucciones del usuario y control mediante lenguaje natural

AS02 es el canal autorizado para la tarea del usuario. Un adversario modifica la tarea prevista mediante lenguaje natural malicioso, sufijos adversarios, jailbreaks, inyección directa de prompts o comandos de voz. Su diferencia fundamental respecto de AS03 y AS04 es que el texto malicioso llega a través de la interfaz a la que se ha concedido explícitamente autoridad para especificar la tarea actual.

Estos estudios revelan al menos tres condiciones de éxito: el modelo acepta la intención maliciosa, el planificador produce un plan coherente con el objetivo y el ejecutor puede llevarlo a cabo. La tasa convencional de éxito de los jailbreaks suele captar únicamente la primera condición.

Preguntas frecuentes

¿Qué diferencia la seguridad de los agentes encarnados de la de los LLM que solo trabajan con texto? Los agentes encarnados afrontan restricciones de realizabilidad física, acumulación temporal de errores, consecuencias irreversibles, presupuestos estrictos de latencia y múltiples transiciones de representación y privilegios.

¿Cómo distingue la taxonomía las superficies de ataque de los mecanismos de ataque? Las superficies de ataque identifican dónde entra por primera vez un ataque en el sistema, mientras que los mecanismos describen cómo se consigue el compromiso.

¿Cuántos registros de ataques y defensas incluye el corpus? El corpus contiene 58 registros de ataques y 61 de defensas hasta el 15 de agosto de 2026.

¿Por qué la consecuencia física final no debería determinar la superficie de ataque primaria? La superficie primaria es la primera frontera de confianza controlada directamente por el adversario, mientras que la consecuencia física puede producirse aguas abajo.