La manipulación con contacto intenso representa un desafío central y persistente en la robótica, esencial para el despliegue práctico. A diferencia de la manipulación en espacio libre, estas tareas dependen de estados de interacción local, como deformación, presión, deslizamiento y fricción. Estos estados suelen ser débilmente visibles, transitorios u ocluidos en las observaciones visuales, lo que hace que las políticas basadas únicamente en visión no sean fiables cuando la ejecución requiere ajustes informados por el tacto.
Para abordar este problema, la idea clave es acoplar la predicción de acciones con la evolución táctil, permitiendo que la política aproveche los cambios táctiles durante las fases de contacto. Recientemente, los Modelos de Acción Mundo (WAMs) han proporcionado la capacidad de predecir la dinámica mundial acoplando la predicción de acciones y la predicción de video. Basándonos en los modelos de acción mundo, proponemos VT-WAM, un modelo de acción mundo viso-táctil que aprende conjuntamente la predicción visual futura, la predicción de deformación táctil y la predicción de acciones dentro de un marco unificado de emparejamiento de flujo.
En particular, VT-WAM tiene dos módulos centrales que hacen que la dinámica táctil sea útil para la predicción de acciones. La Atención MoT Asimétrica dirige los tokens de acción hacia un ancla visual del primer fotograma para el contexto de la escena y hacia la secuencia táctil completa para la evolución del contacto. Esto permite un modo de inferencia con caché visual sin descartar la dinámica táctil necesaria para las fases de contacto. El AVTAG con Puerta de Contacto reduce aún más el sesgo de dominio visual al aplicar una pérdida de rango articulado solo durante el entrenamiento, que fomenta que las consultas de acción atiendan a la evidencia táctil durante las fases de contacto. Esta guía auxiliar hace que el modelo dependa más de la dinámica táctil cuando la información de contacto es físicamente informativa, sin cambiar la arquitectura de inferencia.
Evaluamos VT-WAM en seis tareas reales de manipulación con contacto intenso, que abarcan regímenes de interacción superficial e inserción restringida. VT-WAM alcanza una tasa de éxito del 71.67% y supera al baseline Fast-WAM en un 26.67%. Los estudios de ablación detallados de los métodos de modelado de dinámica táctil y la guía de atención demuestran la efectividad de nuestros diseños centrales en tareas de contacto intenso.
Contribuciones Principales
- Formulamos VT-WAM para acoplar la dinámica de deformación táctil con la predicción de acciones mediante el emparejamiento de flujo viso-táctil-acción conjunto.
- Introducimos la Atención MoT Asimétrica y AVTAG para habilitar un ancla visual, dinámica táctil temporal y guía táctil en fase de contacto.
- Validamos VT-WAM en seis tareas reales, alcanzando un éxito promedio del 71.67%, un 26.67% por encima de Fast-WAM; las ablaciones confirman ambos diseños.
Experimentos
En esta sección, primero describimos la configuración experimental, incluida la plataforma robótica, los detalles de implementación, los baselines, las tareas de referencia y las métricas de evaluación. Luego evaluamos VT-WAM en seis tareas de manipulación con contacto intenso, analizamos la calidad de la predicción viso-táctil y realizamos estudios de ablación para cuantificar la contribución de los componentes clave.
Resultados Principales
La Tabla I muestra el rendimiento en las seis tareas de contacto intenso. VT-WAM logra la tasa de éxito más alta entre todos los métodos evaluados. En comparación con el baseline más fuerte, Fast-WAM, VT-WAM mejora la tasa de éxito del 45.00% al 71.67%, lo que corresponde a una ganancia absoluta del 26.67%.
En las tareas de inserción restringida, el éxito depende de una alineación fina más que de una cobertura superficial sostenida. En las tareas de insertar enchufe, deslizar tarjeta e insertar tubo, VT-WAM alcanza una tasa de éxito del 61.67%, en comparación con el 38.33% de OmniVTLA y el 33.33% de Fast-WAM. Estos resultados sugieren que la dinámica táctil también es útil cuando el robot debe corregir pequeños errores de pose bajo restricciones geométricas estrictas. La mejora es especialmente clara en la tarea de insertar tubo, donde el tubo transparente hace que la alineación visual sea poco fiable y la ejecución exitosa requiere una corrección informada por el tacto. Junto con los resultados de interacción superficial, esto muestra que acoplar la dinámica de deformación táctil con la predicción de acciones mejora las tasas de éxito en tareas de contacto intenso.
Conclusión
Presentamos VT-WAM, un Modelo de Acción Mundo Viso-Táctil para manipulación con contacto intenso. VT-WAM extiende el modelo de acción mundo al aprender la deformación táctil como dinámica de interacción temporal junto con la predicción de acciones, en lugar de usar observaciones táctiles solo como entradas auxiliares de la política. Los experimentos en el mundo real en tareas de interacción superficial e inserción restringida muestran que VT-WAM mejora consistentemente con respecto a los baselines solo visuales y con entrada táctil, mientras que el análisis de predicción táctil y las ablaciones respaldan aún más la importancia del modelado de dinámica táctil y el uso del tacto en fase de contacto. Estos resultados indican que modelar la deformación táctil como dinámica de interacción proporciona una forma efectiva de mejorar la predicción de acciones en tareas de contacto intenso. Si bien este trabajo se centra en la especialización en tareas individuales para un modelado táctil preciso, el entrenamiento multitarea sigue sin explorarse. La investigación futura sobre el entrenamiento multitarea y las leyes de escalado es una dirección prometedora.
Preguntas Frecuentes
¿En qué se diferencia VT-WAM de los modelos de mundo solo visuales estándar? VT-WAM aprende conjuntamente la dinámica de deformación táctil junto con la predicción visual y de acciones, en lugar de usar datos táctiles solo como entradas auxiliares de la política, lo que permite que el modelo aproveche los cambios táctiles en fase de contacto para una predicción de acciones más fiable.
¿Cuáles son los dos módulos centrales que hacen que la dinámica táctil sea útil para la predicción de acciones? La Atención MoT Asimétrica dirige los tokens de acción hacia anclas visuales y secuencias táctiles completas, mientras que el AVTAG con Puerta de Contacto aplica una pérdida de rango articulado solo durante el entrenamiento para fomentar la atención a la evidencia táctil durante las fases de contacto.
¿En qué tareas del mundo real se evaluó VT-WAM? VT-WAM se evaluó en seis tareas de contacto intenso que abarcan regímenes de interacción superficial e inserción restringida, incluidas las tareas de insertar enchufe, deslizar tarjeta e insertar tubo.
¿Cuál fue la principal mejora de rendimiento sobre los baselines? VT-WAM logró una tasa de éxito promedio del 71.67% en todas las tareas, superando al baseline más fuerte, Fast-WAM, en un 26.67% absoluto.