DeCAL es un modelo diestro de visión-lenguaje-acción con fundamentación física que permite utilizar eficazmente las señales táctiles en tareas de manipulación con abundante contacto. Emplea una arquitectura de mezcla de transformadores compuesta por tres expertos colaborativos dedicados a la comprensión, la imaginación y la generación de acciones. Los tres expertos comparten conocimiento de forma direccional mediante atención conjunta, lo que proporciona una guía implícita para una manipulación diestra coherente y de gran precisión. Un mecanismo adaptativo de fusión visuotáctil inyecta dinámicamente información táctil mediante una estrategia de compuerta consciente del contacto, permitiendo al modelo destacar selectivamente las señales táctiles durante las interacciones físicas. La coimaginación latente visuotáctil modela conjuntamente la dinámica visual y táctil mediante una imaginación latente orientada al futuro, dotando a la política de conocimiento implícito del mundo.
Una extensa evaluación en entornos reales pone a prueba DeCAL en diversas tareas de manipulación diestra con abundante contacto. DeCAL alcanza de forma consistente resultados de vanguardia y supera en más de un 15 % de tasa media de éxito a la línea base más sólida. Mantiene un rendimiento eficaz en tiempo real, con una latencia media de inferencia de 0,27 segundos por bloque de acciones. Los estudios de ablación confirman la eficacia de cada componente propuesto y ponen de relieve el potencial de aprovechar eficazmente la información táctil para la manipulación diestra.
Las contribuciones son las siguientes:
- DeCAL es un marco diestro de visión-tacto-lenguaje-acción que unifica la comprensión, la generación y la acción para aprender representaciones visuotáctiles de forma eficaz.
- La fusión visuotáctil adaptativa y la coimaginación latente visuotáctil facilitan una manipulación diestra con abundante contacto y gran precisión.
- La eficacia y la capacidad de generalización del método se demuestran mediante diversos experimentos en entornos reales.
Configuración del sistema robótico
El sistema consta de un par de brazos robóticos UR5 de 6 grados de libertad y dos manos diestras SharpaWave de cinco dedos y 22 grados de libertad. Las observaciones visuales se capturan mediante dos cámaras montadas en las muñecas y una cámara egocéntrica, todas ellas Intel RealSense D435.
Cada yema de los dedos está equipada con un sensor táctil de alta resolución basado en visión, desarrollado por Sharpa, que permite percibir con gran precisión la dinámica del contacto durante la manipulación. Una cámara integrada en cada sensor captura la deformación de la superficie elástica durante la interacción física.
A partir de las imágenes táctiles sin procesar y de los algoritmos de procesamiento visuotáctil, las señales táctiles se representan de tres formas complementarias:
Imagen sin procesar
Las observaciones táctiles sin procesar se capturan directamente con la cámara integrada en cada sensor visuotáctil, que registra los patrones de contacto y las deformaciones de la superficie elástica.
Fuerza neta
Cada yema proporciona una representación de fuerza de 6 grados de libertad compuesta por fuerzas y momentos en tres ejes. Las señales de fuerza se estiman a partir de las observaciones táctiles sin procesar mediante un modelo de regresión preentrenado, lo que permite una percepción táctil consciente de la fuerza.
Mapa de deformación
Cada yema genera, mediante un modelo de traducción, un mapa de profundidad de deformación representado como una imagen 2D. Cada píxel indica la profundidad local de deformación en la superficie táctil y proporciona información geométrica detallada del contacto.
Arquitectura del modelo
DeCAL adopta una arquitectura de mezcla de transformadores que integra la comprensión de la escena, la anticipación de la dinámica visuotáctil y la generación de acciones en un marco unificado. El marco consta de tres expertos transformadores especializados.
Experto de comprensión
El experto de comprensión se basa en Qwen3-VL por su capacidad de comprensión multimodal. Dadas las instrucciones lingüísticas y las observaciones visuales desde múltiples perspectivas, las entradas se codifican primero en tokens textuales y visuales. A continuación, estos se procesan mediante bloques transformadores para producir representaciones contextuales que se comparten con los expertos posteriores a través de autoatención enmascarada.
Las entradas multimodales se amplían con observaciones táctiles mediante un mecanismo específico de atención cruzada. Las características táctiles actúan como claves y valores, mientras que las características visiolingüísticas funcionan como consultas. Las representaciones resultantes se fusionan de forma residual con las características de autoatención, lo que permite razonar conjuntamente sobre las observaciones visuales, lingüísticas y táctiles dentro de un espacio latente unificado.
Experto de generación
El experto de generación modela explícitamente la dinámica visuotáctil al predecir observaciones visuales y táctiles futuras a partir de interacciones históricas, formando representaciones multimodales del mundo con fundamentación física para guiar la generación posterior de acciones.
A pesar de los avances recientes de los modelos de generación de vídeo en la predicción visual, aplicar directamente modelos generativos a la manipulación con abundante contacto sigue siendo difícil debido a los estrictos requisitos de tiempo real del control robótico de alta frecuencia. DeCAL adopta una estrategia de decodificación paralela para generar observaciones visuotáctiles futuras. Este paradigma no autorregresivo mejora la eficiencia computacional y mantiene la eficacia para modelar las interacciones visuotáctiles futuras.
Fusión visuotáctil adaptativa
Extracción de características táctiles
Los mapas de deformación de múltiples dedos se utilizan como entradas táctiles debido a su rica información geométrica sobre el contacto. Un codificador táctil compartido basado en ResNet extrae características táctiles de todas las yemas. Las características extraídas se agrupan espacialmente y se proyectan en tokens táctiles, que posteriormente se fusionan mediante capas transformadoras para capturar las interacciones entre dedos y los patrones de contacto globales.
El codificador táctil produce dos representaciones complementarias:
- Tokens táctiles locales, que conservan los detalles precisos del contacto para la interacción visuotáctil.
- Un token táctil global, que resume el estado general del contacto para la compuerta táctil consciente del contacto.
Atención cruzada visuotáctil adaptativa
Para incorporar la retroalimentación táctil a las representaciones visiolingüísticas, se introduce un mecanismo de atención cruzada en cada bloque transformador. Los tokens táctiles locales actúan como claves y valores, mientras que la proyección del prefijo de la entrada del transformador proporciona las consultas.
La salida fusionada resultante se añade a las representaciones procedentes de la autoatención conjunta del bloque mediante una conexión residual. Así, el modelo puede integrar señales táctiles sin perder el contexto multimodal original.
Mecanismo de compuerta consciente del contacto
En la manipulación diestra, el contacto físico suele ser intermitente y aparecer únicamente durante fases concretas de una tarea, en lugar de estar presente de forma continua. Inyectar directamente señales táctiles en la política en todo momento puede introducir sesgos en la generación de acciones y alterar la distribución de la atención visual.
Un mecanismo de compuerta consciente del contacto permite a la política modular de forma adaptativa el peso de las entradas táctiles según la relevancia de la información de contacto en cada instante.
La salida con compuerta se calcula ponderando la información táctil según una señal aprendida de relevancia del contacto antes de integrarla en la representación multimodal.
Coimaginación latente visuotáctil
El experto de generación realiza una imaginación latente orientada al futuro para modelar conjuntamente la dinámica visuotáctil. A partir de observaciones visuotáctiles históricas y actuales, el modelo produce representaciones latentes predictivas que capturan la dinámica física subyacente de la interacción.
Predicción de latentes táctiles
La fuerza de contacto de 6 grados de libertad proporciona una representación compacta y físicamente significativa de la dinámica del contacto, pues captura tanto la magnitud de la fuerza como la información de los momentos. Para predecir latentes táctiles, las fuerzas de cada yema se transforman primero en representaciones mediante un codificador específico de fuerza; después, la política las procesa para producir un latente táctil.
Posteriormente, este latente puede decodificarse en representaciones de distinta granularidad, como imágenes sin procesar, mapas de deformación y vectores de fuerza de 6 grados de libertad. Estas representaciones capturan la dinámica táctil desde múltiples perspectivas y favorecen una comprensión de la escena y una generación de acciones con fundamentación física.
Durante el entrenamiento, los latentes visuales predichos se ajustan directamente a los objetivos del VAE de Cosmos codificados a partir de observaciones visuales futuras. Los latentes táctiles, condicionados por las fuerzas actuales de 6 grados de libertad, reciben supervisión indirecta mediante la reconstrucción de imágenes táctiles futuras sin procesar, mapas de deformación y fuerzas de 6 grados de libertad.
En la inferencia, el experto de generación predice conjuntamente los latentes visuales y táctiles futuros para proporcionar contexto anticipatorio a la generación de acciones. Los decodificadores de reconstrucción se omiten durante la inferencia, evitando reconstrucciones innecesarias en el espacio de píxeles.
Flujo de inferencia
Durante la inferencia, DeCAL codifica las observaciones visuales desde múltiples perspectivas, las instrucciones lingüísticas y las entradas táctiles en tokens de prefijo e intermedios, que son procesados por el experto de comprensión y el experto de generación.
Los tokens de prefijo producen representaciones contextuales almacenadas en cachés de clave-valor, lo que permite que los cálculos posteriores atiendan eficazmente a todo el contexto previo. A continuación, las representaciones intermedias, incluida la anticipación visuotáctil predicha, se integran con estos estados almacenados para formar representaciones latentes que capturan tanto la comprensión de la tarea como la dinámica visuotáctil.
Por último, las acciones se generan iterativamente mediante flow matching factorizado, condicionadas por el estado actual y el contexto almacenado. Al ejecutarse en una única GPU NVIDIA RTX 4090, DeCAL alcanza una latencia media de inferencia de 0,27 segundos por bloque de acciones, lo que demuestra una inferencia eficiente para la manipulación diestra en tiempo real.
Resultados complementarios de generación
En los resultados complementarios se visualizan mapas de deformación táctil futuros generados. Aunque las observaciones táctiles generadas no reconstruyen perfectamente los detalles precisos de la deformación y presentan cierta pérdida de estructura local, conservan adecuadamente la información relacionada con el contacto.
En particular, las regiones de alta respuesta corresponden de forma consistente a las zonas de contacto entre las yemas y los objetos, proporcionando representaciones informativas de los estados futuros de contacto. Esto sugiere que el modelo captura la evolución subyacente de las interacciones táctiles, suficiente para guiar la generación posterior de acciones.
Análisis complementario de generalización
Los experimentos de generalización evalúan los modelos en cuatro tipos de escenarios no vistos:
- Fondo no visto
- Condición de iluminación no vista
- Escena con obstáculos
- Objeto no visto
Las tres primeras configuraciones introducen principalmente perturbaciones a nivel del entorno, mientras que la configuración con objetos no vistos introduce un cambio de distribución a nivel de objeto.
DECO y ViTacFormer se benefician de aumentos aleatorios de imagen durante el entrenamiento, lo que mejora su robustez frente a cambios visuales como variaciones del fondo, cambios de iluminación y una acumulación moderada de objetos en la escena.
Conclusiones
DeCAL es un modelo diestro de visión-lenguaje-acción con fundamentación física que aprovecha eficazmente la retroalimentación táctil para la manipulación con abundante contacto. Al unificar la comprensión, la generación y la acción en un marco colaborativo, DeCAL permite un razonamiento multimodal coherente y un control diestro de gran precisión.
DeCAL fusiona de forma adaptativa la información visuotáctil mediante una compuerta táctil consciente del contacto y modela la dinámica visuotáctil mediante imaginación latente orientada al futuro, dotando a la política de conocimiento implícito del mundo. Amplios experimentos en tareas diestras reales demuestran la eficacia y la capacidad de generalización del enfoque.
Limitaciones
En primer lugar, el método depende de una percepción táctil precisa, que puede verse afectada por el ruido de los sensores, errores de calibración y deriva del modelo. Estos factores pueden provocar una degradación del rendimiento durante operaciones prolongadas y con cargas elevadas.
En segundo lugar, el sistema de teleoperación no proporciona al operador retroalimentación de fuerza en las yemas. Esto puede provocar ajustes tardíos del contacto, una regulación subóptima y una calidad limitada de las demostraciones con información táctil.
Además, el marco actual no aprovecha el preentrenamiento visuotáctil a gran escala. Ampliar la diversidad de datos táctiles de manipulación diestra para el preentrenamiento podría mejorar aún más las capacidades del modelo y constituye una línea importante de investigación futura.
Agradecimientos
Este trabajo recibió el apoyo de la National Natural Science Foundation of China (62476011) y de la Beijing Natural Science Foundation (L252060).
Los autores expresan su sincero agradecimiento a Yifan Ye y Yunfan Lou por sus valiosos comentarios y enriquecedoras conversaciones sobre el diseño metodológico. También agradecen a Xiansheng Chen su apoyo con la configuración del hardware.
Preguntas frecuentes
¿Qué es DeCAL?
DeCAL es un modelo diestro de visión-lenguaje-acción con fundamentación física que combina información visual, lingüística y táctil para la manipulación con abundante contacto.
¿Cómo utiliza DeCAL la información táctil?
Utiliza mapas de deformación, representaciones de fuerza y observaciones táctiles sin procesar mediante fusión visuotáctil adaptativa y compuertas conscientes del contacto.
¿Qué es la coimaginación latente visuotáctil?
Es un mecanismo orientado al futuro que predice conjuntamente representaciones latentes visuales y táctiles para capturar la dinámica de las interacciones físicas.
¿A qué velocidad realiza DeCAL la inferencia?
DeCAL alcanza una latencia media de inferencia de 0,27 segundos por bloque de acciones en una única GPU NVIDIA RTX 4090.