Modelo de amenaza
Consideramos un atacante que busca reducir la tasa de éxito de las tareas de un robot controlado por un Modelo de Acción del Mundo (WAM), modificando una pequeña región de su entrada visual. Se trata de un ataque no dirigido en tiempo de prueba.
Diseño e implementación del ataque
El ataque aprovecha la reutilización de codificadores visuales públicos en distintos WAM con arquitecturas de control posteriores diferentes. Por tanto, la salida del codificador proporciona un objetivo de ataque independiente de una interfaz de acción concreta. Para que los cambios locales en los píxeles afecten a representaciones más amplias de la escena, deben aprovechar las vías de propagación dentro del codificador.
Maximizamos la diferencia entre las representaciones limpias y las que contienen el parche en toda la salida latente, incluidas todas las posiciones espaciales y los canales. El mismo parche se optimiza a partir de varias observaciones de origen.
Configuración experimental
Realizamos una evaluación de ciclo cerrado en LIBERO y RoboTwin. LIBERO contiene cuatro categorías de tareas —Espacial, Objeto, Objetivo y Horizonte largo— con 10 tareas cada una. RoboTwin contiene 50 tareas.
FastWAM es el modelo de evaluación predeterminado. DreamWAM-uncond (DW-U), DreamWAM-joint (DW-J) y Motus se utilizan para evaluar la transferencia dentro del mismo benchmark. Cada configuración de modelo conserva su propio proceso de generación de acciones y preprocesamiento.
Análisis del mecanismo y del comportamiento
En esta sección investigamos cómo un cambio local en los píxeles realizado por TAPDreamer provoca desviaciones en la ejecución de acciones. El análisis examina los efectos de TAPDreamer en las representaciones latentes.
Conclusión
TAPDreamer optimiza un parche local fijo utilizando únicamente un codificador visual público y seis observaciones de una tarea, y aun así provoca una fuerte interferencia de ciclo cerrado en dos benchmarks completos y con distintas arquitecturas de acción posteriores. El análisis del mecanismo revela que las interacciones entre los cambios en los pesos de atención y en los valores propagan la interferencia local a representaciones distantes, mientras que las respuestas a las perturbaciones optimizadas se mantienen muy consistentes entre las observaciones de distintas tareas.
El análisis del comportamiento relaciona esta vulnerabilidad de las representaciones con interferencias en el agarre y la pose, y distingue los efectos inmediatos de la entrada visual sostenida de las consecuencias sobre el estado que se acumulan durante la ejecución. Estos resultados muestran que la robustez de los WAM debe abarcar todo el proceso, desde la entrada visual local hasta la representación, la generación y el control.
Declaración de ética
Este estudio busca identificar vulnerabilidades de los Modelos de Acción del Mundo ante perturbaciones visuales locales, con el fin de contribuir a la evaluación de la seguridad robótica y a la investigación de defensas. Todos los experimentos se realizaron en los entornos de simulación LIBERO y RoboTwin; los ataques se implementaron modificando las imágenes de entrada del modelo.
Reconocemos que estos métodos podrían utilizarse indebidamente para interrumpir el funcionamiento normal de los robots y subrayamos que su uso debe limitarse a pruebas de seguridad e investigación autorizadas. El análisis del mecanismo apunta a posibles defensas que atenúen las claves y los valores procedentes de regiones sospechosas de la imagen, o entrenen el codificador para preservar las representaciones fuera de las regiones perturbadas localmente. Estas intervenciones se dirigen a la propagación del cambio inducido por el parche a través de la atención; aún queda por evaluar su eficacia frente a ataques adaptativos y su impacto en el rendimiento de tareas sin perturbaciones.
Intervenciones de restauración de la atención
Medimos el cambio restante respecto a la salida limpia, normalizado por el cambio sin restauración. Para la retención latente, ambos cambios se miden con la norma L2 sobre todo el espacio latente, incluida la huella del parche; la retención de acciones utiliza la razón L2 correspondiente para las salidas de acción. El parche aleatorio se evalúa con la misma métrica de retención latente.
Como la reconstrucción de la atención utiliza una precisión numérica distinta de la inferencia del modelo, la referencia con parche y sin restauración se calcula mediante la misma ruta de reconstrucción. Estas razones miden los cambios retenidos, no las tasas de éxito de las tareas.
Las tres intervenciones dejan aproximadamente el 33% del cambio latente y el 32% del cambio en las acciones inducidos por TAPDreamer. En comparación, la retención latente del parche aleatorio se mantiene en aproximadamente 1.000. Así, restaurar la rama de atención, sus pesos o sus valores elimina la mayor parte de los cambios latentes y en las acciones inducidos por TAPDreamer, mientras que apenas afecta al parche aleatorio.
Efectos conductuales
Los análisis anteriores muestran cómo las perturbaciones inducidas por el parche se propagan a través de la atención y cómo la optimización establece una dirección compartida antes de amplificar su magnitud. Ahora examinamos cómo estos cambios en las representaciones afectan a las órdenes de acción y, a su vez, provocan fallos en las tareas.
El mismo cambio en la representación puede afectar a distintas acciones a medida que avanza una tarea. El parche desvía el efector final por debajo de su trayectoria sin perturbaciones e impide completar la tarea. Utilizamos comparaciones de acciones en el mismo estado, restauración interna y retirada del parche para relacionar el cambio con las órdenes y sus consecuencias físicas.
Tarea: Pon la sopa de letras y la salsa de tomate en la cesta.
Preguntas frecuentes
¿Qué busca conseguir TAPDreamer? Busca reducir la tasa de éxito de las tareas de un robot controlado por un WAM modificando una pequeña región de su entrada visual.
¿Qué información se necesita para optimizar el parche? TAPDreamer utiliza un codificador visual público y seis observaciones de una tarea.
¿Qué benchmarks se utilizan para la evaluación de ciclo cerrado? La evaluación utiliza LIBERO y RoboTwin.
¿Qué muestran las intervenciones de restauración de la atención? Dejan aproximadamente el 33% del cambio latente y el 32% del cambio en las acciones inducidos por TAPDreamer, mientras que la retención latente del parche aleatorio se mantiene en aproximadamente 1.000.