Los ataques a sistemas de IA corpórea son particularmente preocupantes porque los fallos del modelo pueden traducirse en consecuencias físicas. Trabajos previos han estudiado ataques a módulos de percepción, agentes de aprendizaje por refuerzo y políticas corpóreas, incluyendo perturbaciones que alteran observaciones, tiempos o señales ambientales. Estos ataques suelen apuntar a la toma de decisiones reactivas. Para una política reactiva a = π(o), un ataque a la observación puede escribirse como δ = argmax L(a_limpia, a_adv) o, en evaluación de bucle cerrado, como minimizar la recompensa o el éxito de la tarea. BadWAM generaliza naturalmente esta visión a modelos de acción predictiva cuyas salidas incluyen tanto acciones como futuros imaginados. La pregunta relevante ya no es solo si la acción cambia, sino si la acción cambia mientras la imaginación sigue siendo plausible.
Lo más cercano a nuestro contexto es el trabajo reciente sobre ataques de integridad a nivel de oráculo contra modelos mundo-acción de "imaginar y luego actuar". Ese trabajo estudia sistemas de tipo VLA y basados en modelos mundo, donde un futuro imaginado es consumido por oráculos posteriores como puertas de seguridad, planificadores MPC o verificadores de "imaginar y comprobar". Muestra que corromper la imaginación de confianza puede comprometer sistemas que dependen de predicciones futuras. BadWAM estudia un modo de fallo complementario. En lugar de atacar el futuro imaginado como objeto principal, nos enfocamos en la alineación entre imaginación y acción en controladores WAM desplegados. Mostramos que la acción y la imaginación pueden desincronizarse adversarialmente: el futuro predicho puede permanecer cercano a la predicción limpia mientras la acción ejecutada cambia lo suficiente como para causar fallo en la tarea.
Esta distinción es central para nuestro modelo de amenaza. Si un monitor de seguridad confía en futuros imaginados plausibles, entonces una verificación puramente basada en la imaginación puede pasar por alto un ataque que preserva las predicciones futuras mientras secuestra las acciones. Por lo tanto, BadWAM trata la alineación entre acción e imaginación como el objeto crítico de seguridad. Nuestro ataque adversarial solo de acción prioriza la interrupción de la tarea, mientras que nuestro ataque adversarial con preservación de la imaginación estudia explícitamente el equilibrio entre la fuerza del ataque y el sigilo.
Marco BadWAM
BadWAM es un marco unificado para modelar y evaluar ataques de deriva mundo-acción. El marco trata a un WAM como un sistema de acción predictiva consultable y optimiza perturbaciones visuales acotadas en cada paso de replanificación. Sus dos instancias de ataque corresponden a dos puntos en el espectro fuerza/sigilo: un ataque adversarial solo de acción que prioriza el fallo en la ejecución, y un ataque adversarial con preservación de la imaginación que además restringe la deriva del futuro predicho.
Motivación del Diseño
Por lo tanto, formulamos BadWAM en torno a dos distancias. d_acción mide la desviación entre los fragmentos de acción limpios y atacados, y d_imaginación mide la deriva entre la imaginación limpia y atacada. Estas distancias son cantidades a nivel de interfaz: no requieren una arquitectura WAM particular, solo acceso a las salidas correspondientes. Conceptualmente, un ataque adversarial sigiloso busca una gran desviación en la acción bajo perturbaciones visuales acotadas mientras mantiene la deriva de la imaginación por debajo de un umbral monitoreable:
max_δ d_acción(a_limpia, a_adv) sujeto a d_imaginación(i_limpia, i_adv) ≤ τ y ||δ||_∞ ≤ ε
Esto define la superficie de ataque central de BadWAM. Los dos ataques a continuación instancian diferentes relajaciones de este objetivo.
Ataque Adversarial Solo de Acción
El ataque solo de acción captura el extremo de alta fuerza de BadWAM. Trata al WAM como un controlador consultable y se enfoca puramente en la interrupción de la ejecución. En lugar de imponer alguna restricción sobre el futuro imaginado, busca una perturbación visual acotada que maximice la desviación entre los fragmentos de acción limpios y atacados:
max_δ d_acción(a_limpia, a_adv) sujeto a ||δ||_∞ ≤ ε
El fragmento de acción limpio se usa solo como referencia; el atacante no necesita acciones de experto de verdad fundamental ni etiquetas de éxito de la tarea durante la optimización. Esto hace que el ataque sea aplicable a interfaces de políticas desplegadas donde la salida observable es el comando de acción enviado al controlador del robot.
Aunque simple, este objetivo ya es altamente disruptivo. En nuestros experimentos de bucle cerrado, el ataque solo de acción reduce una variante WAM del 96.5% al 43.1% de éxito en la tarea. Por lo tanto, lo usamos como el punto final de alta fuerza de BadWAM. Al mismo tiempo, el ataque no es simplemente corrupción de salida no estructurada: los cambios inducidos se distribuyen de manera desigual tanto entre los canales de acción como entre los segmentos de horizonte temporal. Por ejemplo, las perturbaciones se concentran en canales relevantes para la tarea, como los comandos de traslación y pinza, mientras que su concentración temporal varía según las variantes WAM. Esto motiva el registro de estadísticas de acción a nivel de canal y horizonte en nuestra evaluación.
Ataque Adversarial con Preservación de la Imaginación
El objetivo solo de acción no proporciona control sobre lo que sucede con el futuro imaginado. Para despliegues WAM que exponen futuros imaginados a planificadores, monitores o puertas de seguridad de "imaginar y comprobar", esto es insuficiente: un ataque más sigiloso debería degradar la ejecución mientras preserva la imaginación limpia del modelo. Por lo tanto, BadWAM instancia un ataque con preservación de la imaginación resolviendo la relajación lagrangiana:
max_δ d_acción(a_limpia, a_adv) - λ · d_imaginación(i_limpia, i_adv) sujeto a ||δ||_∞ ≤ ε
El coeficiente λ controla el equilibrio entre fuerza del ataque y sigilo. Cuando λ = 0, el objetivo se reduce a pura interrupción de la acción. A medida que λ aumenta, se desalienta al optimizador de cambiar el futuro imaginado, haciendo el ataque más sigiloso pero potencialmente menos dañino.
Cuando los videos futuros decodificados están disponibles, instanciamos la distancia de imaginación como una distancia promedio a nivel de fotograma:
d_imaginación = (1/T) Σ_t ||i_limpia_t - i_adv_t||_2
El mismo objetivo puede aplicarse a futuros latentes reemplazando la distancia a nivel de fotograma con una distancia en el espacio latente. En cualquier caso, el ataque apunta a un fallo específico de WAM: el robot puede parecer imaginar un futuro plausible mientras ejecuta una acción desincronizada.
Optimización Online Basada en Consultas
BadWAM no retropropaga a través del WAM ni accede a los parámetros del modelo. En cada paso de replanificación, el atacante trata al WAM como un sistema de entrada-salida consultable y optimiza el objetivo del ataque con consultas de diferencias finitas de orden cero. Concretamente, para una perturbación actual δ, el atacante muestrea direcciones aleatorias u y evalúa el objetivo escalar bajo observaciones perturbadas positiva y negativamente. Esto da el estimador:
∇̂L(δ) = (L(δ + σu) - L(δ - σu)) / (2σ) · u
Esta optimización es de orden cero porque solo usa valores de objetivo calculados a partir de las salidas del WAM; no requiere gradientes, pesos del modelo ni datos de entrenamiento. El mismo optimizador soporta ambas instancias de BadWAM cambiando solo el objetivo escalar L: el ataque solo de acción puntúa la desviación de la acción, mientras que el ataque con preservación de la imaginación puntúa la desviación de la acción junto con la consistencia de la predicción futura.
Para cada paso de replanificación, BadWAM mantiene la mejor perturbación encontrada dentro del presupuesto de consultas. La observación adversarial final se usa entonces para producir el fragmento de acción ejecutado por el robot. Este diseño online evita entrenar un modelo de ataque separado y se adapta naturalmente a la observación actual, la instrucción y el estado del robot.
Ejecución y Mediciones en Bucle Cerrado
BadWAM se evalúa bajo ejecución en bucle cerrado. El ataque se recalcula en cada paso de replanificación, el WAM produce un fragmento de acción atacado y el robot ejecuta las acciones seleccionadas antes de la siguiente replanificación. Este entorno es más fiel que la comparación de acciones de un solo paso porque pequeños cambios en la acción pueden acumularse con el tiempo y causar fallo en la tarea solo después de múltiples replanificaciones.
Reportamos tres grupos de mediciones. Primero, medimos la efectividad del ataque a nivel de tarea usando la tasa de éxito en bucle cerrado y los fallos inducidos en relación con la ejecución limpia. Segundo, medimos la interrupción de la acción usando la distancia de acción, estadísticas de canales de acción y cambios de acción a nivel de horizonte. Tercero, para ataques con preservación de la imaginación, medimos el sigilo usando la distancia del futuro predicho y la puntuación adversarial. En conjunto, estas métricas separan dos preguntas: si el robot falla y si el fallo es visible a través del futuro imaginado del WAM.
Los Fallos Son Sistemáticos en Todos los Conjuntos y Pruebas
Para probar si el ataque se concentra en unos pocos tipos de tareas o persiste en todo el punto de referencia, desglosamos el éxito por conjunto LIBERO. Las mayores caídas ocurren en tareas que requieren control espacial preciso o ejecución de largo horizonte. Para el WAM solo de acción, el éxito Espacial cae del 96.5% al 16.0%, el éxito de Meta cae del 97.0% al 40.0% y el éxito de Largo Horizonte cae del 92.5% al 23.5%. Las tareas de Objeto permanecen comparativamente robustas al 93.0%. Los WAMs conjunto e IDM muestran el mismo patrón cualitativo, aunque la degradación es menos extrema. Por ejemplo, el WAM conjunto bajo ataques solo de acción alcanza un 52.0% de éxito en Espacial y un 42.0% en Largo Horizonte, pero permanece al 92.5% en Objeto.
Esta estructura a nivel de conjunto sugiere que BadWAM no está simplemente destruyendo la percepción visual de manera uniforme. Es más efectivo cuando pequeñas desviaciones en la acción pueden acumularse a través de la geometría, el tiempo de contacto o las dependencias secuenciales. Las tareas centradas en objetos a menudo toleran una deriva moderada siempre que la affordance relevante permanezca visible y alcanzable. Las tareas espaciales y de largo horizonte dejan menos margen para una dirección de aproximación, posición de agarre o tiempo de pinza incorrectos.
¿Qué Implican Estos Resultados para la Seguridad de los WAM?
En todas las preguntas de investigación, los resultados apuntan a un modo de fallo sutil para las comprobaciones de seguridad basadas en la imaginación. Un monitor WAM natural podría inspeccionar los futuros predichos y aceptar una acción si el futuro parece plausible. BadWAM muestra que este criterio es incompleto. La propiedad de seguridad relevante no es la plausibilidad del futuro imaginado de forma aislada, sino la sincronización entre el futuro imaginado y la acción que realmente se ejecutará. En la ejecución de fuerza igualada, el objetivo con preservación de la imaginación reduce la deriva del futuro predicho en 39 de 40 tareas LIBERO mientras aún induce fallos sustanciales en bucle cerrado. Un monitor que solo puntúa la plausibilidad visual del futuro podría, por lo tanto, estar satisfecho incluso después de que el canal de acción se haya desviado hacia el fallo.
Esto también explica por qué el ataque es específico del WAM. Para una política convencional solo de acción, una perturbación adversarial solo puede evaluarse a través de su efecto en la acción o el resultado final de la tarea. Para un WAM, el atacante puede explotar una brecha entre dos interfaces: la interfaz de imaginación futura y la interfaz de acción. El objetivo solo de acción de BadWAM apunta al extremo de alta fuerza de este espectro; el objetivo con preservación de la imaginación apunta a un extremo más sigiloso. Este último es especialmente relevante para sistemas que exponen futuros predichos a planificadores, monitores en tiempo de ejecución o supervisores humanos. Incluso cuando el futuro predicho permanece visualmente cercano a la predicción limpia, el fragmento de acción ejecutado puede que ya no sea la acción que realizaría ese futuro.
Los experimentos de defensa refuerzan la misma lección. El preprocesamiento puede ser un diagnóstico útil, pero no es una solución de principios para la seguridad de los WAM. Una defensa práctica debe preservar el control limpio mientras verifica que la acción y la imaginación sigan siendo mutuamente consistentes a lo largo de la trayectoria en bucle cerrado. El detector de baja sensibilidad en nuestros experimentos muestra además que un AUROC moderado es insuficiente para la seguridad robótica: los monitores en tiempo de ejecución deben operar con tasas de falsos positivos muy bajas, donde la sensibilidad es más difícil de mantener.
Finalmente, los resultados de transferencia sugieren que la vulnerabilidad no es simplemente un artefacto de implementación. Las perturbaciones optimizadas en una variante WAM siguen siendo dañinas en otra, lo que indica direcciones compartidas en el espacio de observación que afectan la generación de acciones. Por lo tanto, una evaluación de seguridad de WAM debería ir más allá de las tasas de éxito limpias y atacadas. También debería informar la distancia de acción, la distancia de futuro predicho, la perceptibilidad de entrada, los cambios a nivel de horizonte y las distribuciones de fallos entre familias de tareas. En conjunto, estas métricas distinguen el secuestro de acción abierto de los fallos más sigilosos con preservación de la imaginación, y prueban si una defensa restaura la sincronización acción-imaginación en lugar de enmascarar un patrón de perturbación.
Resumen de Hallazgos
La evaluación respalda seis conclusiones. Primero, BadWAM reduce sustancialmente el éxito en bucle cerrado en todas las variantes WAM, con caídas de alrededor del 30% al 50%. Segundo, los fallos son sistemáticos: persisten en pruebas repetidas y son más fuertes en tareas espaciales y de largo horizonte. Tercero, el ataque induce fallos estructurados en bucle cerrado en lugar de comportamiento aleatorio inmediato. Cuarto, la preservación de la imaginación crea un equilibrio de sigilo medible: mantiene los futuros predichos más cercanos a las trayectorias limpias mientras retiene presupuestos de perturbación comparables y una fuerza de ataque sustancial. Quinto, BadWAM expone una frontera de sensibilidad ajustable: la fuerza del ataque depende fuertemente del tamaño de la perturbación, el peso de preservación del futuro y el presupuesto de consultas. Sexto, la vulnerabilidad no está aislada a un modelo: los ataques se transfieren entre variantes WAM, mientras que las líneas de base de detección simples pasan por alto la mayoría de los ataques en tasas de falsos positivos prácticas.
En conjunto, estos resultados muestran que la seguridad de los WAM no puede reducirse a preguntar si el futuro imaginado parece plausible. La pregunta más relevante para la seguridad es si el futuro imaginado del modelo y la acción seleccionada permanecen sincronizados bajo perturbaciones adversariales en la observación.
Preguntas Frecuentes
¿Qué es BadWAM? BadWAM es un marco para atacar modelos mundo-acción desincronizando sus predicciones futuras imaginadas de sus acciones ejecutadas, causando fallo en la tarea incluso cuando el futuro predicho parece normal.
¿En qué se diferencia el ataque con preservación de la imaginación del ataque solo de acción? El ataque con preservación de la imaginación añade un término de regularización que penaliza la deriva en el futuro predicho, haciendo el ataque más sigiloso mientras aún causa fallos sustanciales en la tarea.
¿Qué tipos de tareas son más vulnerables a los ataques BadWAM? Las tareas de razonamiento espacial y manipulación de largo horizonte son las más vulnerables, mientras que las tareas centradas en objetos son comparativamente robustas debido a su tolerancia a una deriva moderada en la acción.
¿Pueden los ataques BadWAM transferirse entre diferentes modelos WAM? Sí, las perturbaciones optimizadas en una variante WAM siguen siendo dañinas en otras, lo que indica direcciones compartidas en el espacio de observación que afectan la generación de acciones entre modelos.
Prepublicación
El manuscrito completo con todos los experimentos, resultados detallados y apéndices está disponible en arXiv: https://arxiv.org/abs/2607.15207.