Los modelos mundiales permiten a los robots aprender representaciones predictivas de cómo evoluciona el entorno, y los recientes Modelos de Acción Mundial (WAM) combinan dicho aprendizaje predictivo con la generación de acciones para el control robótico. Sin embargo, la mayoría de los WAM aún modelan el futuro principalmente a través de transiciones de estado visuales. La predicción visual captura la disposición de la escena, la apariencia de los objetos y el movimiento visible, pero la manipulación física también depende de la mecánica local que solo se expresa indirectamente en las imágenes. Para tareas con contacto intensivo, aprender cómo se ve la escena no es suficiente; el modelo también debe capturar cómo cambian las señales táctiles, como la fuerza y la deformación, durante la interacción.
Los métodos visuo-táctiles previos han utilizado el tacto para la fusión de observaciones, el aprendizaje de representaciones, el refinamiento de políticas y la predicción táctil futura. Estos trabajos muestran que el tacto puede mejorar la manipulación y que la predicción táctil futura puede ser útil. Siguiendo esta dirección, nos centramos en un requisito complementario para los WAM táctiles: los estados táctiles futuros deben proporcionar una supervisión físicamente informativa, mientras que la generación de acciones permanece restringida a la información disponible en el despliegue. Esto permite que los futuros táctiles enriquezcan el entrenamiento del modelo mundial sin servir como entradas directas de acción.
Contribuciones
- Introducimos TacWAM, que extiende el entrenamiento visual de WAM con el historial táctil reciente y la predicción táctil futura, permitiendo que el modelo aprenda de los cambios en el tacto más allá de la observación táctil actual.
- Desarrollamos un Codificador Táctil de Fusión Alineada Espacialmente (SAF) que mapea la apariencia táctil, la fuerza y la deformación en una representación latente compartida, preservando a la vez los patrones de contacto locales y la información global de fuerza/par.
- Proponemos una Atención Trimodal Guiada por Anclas (AGT), que impide que la rama de acción acceda a los objetivos visuales o táctiles futuros durante el entrenamiento, asegurando que la generación de acciones use solo la información disponible en el despliegue.
- Evaluamos TacWAM en cuatro tareas de manipulación con contacto intensivo en el mundo real. TacWAM supera consistentemente a las líneas base representativas solo-visuales y visuo-táctiles, mientras que las ablaciones por etapas respaldan la importancia del historial táctil y de la visibilidad restringida de objetivos futuros en el marco completo.
Aprendizaje Visuo-Táctil y Táctil Predictivo
TacWAM se basa en la dirección más amplia del aprendizaje visuo-táctil en lugar de tratar la predicción táctil en sí misma como la novedad principal. Se centra en cómo se representan los futuros táctiles y cómo se usan dentro del entrenamiento de WAM: el Codificador SAF y el historial táctil respaldan la predicción de cambios de fuerza y deformación, mientras que la Atención AGT evita que los objetivos sensoriales futuros se conviertan en entradas directas para la generación de acciones.
Descripción General de TacWAM
TacWAM se construye alrededor de un único generador de WAM trimodal con flujos visual, táctil y de acción. Sobre este generador, TacWAM introduce tres diseños específicos táctiles. Primero, el Codificador Táctil SAF mapea la apariencia táctil, la fuerza y las señales de flujo de deformación sincronizadas en un espacio latente táctil compartido, que define el objetivo de predicción táctil futura. Segundo, el codificador de historial táctil resume los cambios táctiles recientes antes del bloque actual y condiciona la rama de predicción táctil al contexto de la fase de contacto. Tercero, la Atención AGT especifica la topología de información entre los flujos visual, táctil y de acción, impidiendo que los objetivos de predicción sensorial futura sean accedidos directamente por los tokens de acción.
Los tres flujos se implementan conjuntamente en una arquitectura de Mezcla de Transformadores, donde los flujos visual, táctil y de acción se procesan mediante expertos específicos de modalidad y se comunican a través de autoatención mixta enmascarada. AGT gobierna esta autoatención mixta entre los tokens visuales, táctiles y de acción; el lenguaje de la tarea y la propiocepción actual se proporcionan por separado como contexto disponible en el despliegue a través de atención cruzada experta. Bajo la máscara AGT finalizada, la predicción táctil futura es un objetivo predictivo paralelo más que un modelo de consecuencia condicionado por la acción: el flujo de acción utiliza anclas visuales y táctiles disponibles en el despliegue, contexto de tarea/propiocepción e interacciones de tokens de acción, mientras que los estados táctiles futuros proporcionan supervisión predictiva para cambios de fuerza y deformación durante el entrenamiento.
Codificador Táctil de Fusión Alineada Espacialmente (SAF)
TacWAM define un espacio de predicción latente táctil usando un codificador táctil y un reconstructor táctil, como se ilustra en la figura adjunta. Cada observación táctil contiene señales sincronizadas de los dos sensores táctiles del lado de la pinza, donde las entradas son la imagen táctil rectificada, el campo de fuerza local denso y el flujo de deformación de la malla. Estas tres entradas están registradas espacialmente en la superficie del sensor táctil y se fusionan en una representación táctil a nivel de paso.
El par resultante se trata, por lo tanto, como supervisión mecánica global en lugar de una cuarta entrada espacial. TacWAM predice futuros estados latentes táctiles en lugar de generar directamente flujos heterogéneos de sensores táctiles. Los objetivos de reconstrucción alientan al estado latente a preservar la fuerza local, la deformación y la información de par bilateral.
Predicción Modulada por Historial Táctil
El tacto de un solo fotograma es a menudo ambiguo: la misma magnitud de fuerza puede corresponder a un contacto estable, presión creciente, recuperación de deslizamiento o daño inminente al objeto dependiendo de la trayectoria de interacción reciente. Por lo tanto, TacWAM resume el historial táctil reciente antes del bloque actual.
La salida es un contexto táctil compacto a nivel de bloque. No se inserta como tokens de memoria adicionales. En cambio, modula al experto táctil a través de una normalización adaptativa, ayudando a la predicción táctil futura a desambiguar la fase de interacción actual y la tendencia de evolución táctil. El contexto del historial no es una entrada privilegiada directa al flujo de acción.
Este diseño cambia el papel de la predicción táctil. TacWAM no adjunta el pronóstico táctil como una cabeza aislada post-hoc. En cambio, los estados táctiles futuros se integran en el objetivo generativo multimodal, alentando al WAM entrenado conjuntamente a codificar la evolución táctil relevante para el contacto más allá de la supervisión visual sola.
Experimentos
Evaluamos TacWAM a través de las siguientes preguntas de investigación:
- RQ1: ¿Cómo se compara TacWAM con las líneas base solo-visuales y visuo-táctiles en la manipulación con contacto intensivo?
- RQ2: ¿El historial táctil mejora la predicción de fuerza futura y la manipulación de contacto dependiente de la fase dentro de TacWAM?
- RQ3: ¿Cómo afectan las restricciones de información de AGT al rendimiento de despliegue en comparación con máscaras de atención relajadas?
Preguntas Frecuentes
¿Cuál es la diferencia principal entre TacWAM y los Modelos de Acción Mundial existentes?
TacWAM extiende el entrenamiento visual de WAM añadiendo historial táctil reciente y predicción táctil futura, permitiendo que el modelo aprenda de los cambios en fuerza y deformación en lugar de solo de las transiciones de estado visuales.
¿Cómo funciona el Codificador Táctil de Fusión Alineada Espacialmente?
Mapea las señales de apariencia táctil, fuerza y flujo de deformación en un espacio latente compartido, preservando patrones de contacto locales e información global de fuerza/par a través de objetivos de reconstrucción.
¿Por qué TacWAM impide que la rama de acción acceda a los objetivos sensoriales futuros?
Para asegurar que la generación de acciones durante el despliegue use solo información disponible en ese momento, manteniendo los estados táctiles futuros como supervisión predictiva en lugar de entradas directas de acción.
¿Qué tareas se usaron para evaluar TacWAM?
TacWAM fue evaluado en cuatro tareas de manipulación con contacto intensivo en el mundo real, superando consistentemente a las líneas base solo-visuales y visuo-táctiles en todas las tareas.