Investigadores han desarrollado FM-VLA, un modelo de visión-lenguaje-acción que añade un módulo de memoria basado en fuerza, permitiendo a los robots razonar sobre secuencias de contactos físicos durante tareas complejas de manipulación. Este enfoque permite que un robot humanoide tenga éxito en tareas como el clásico "juego de los cubiletes" — levantar vasos para encontrar un bloque escondido — donde la información visual por sí sola es ambigua y el robot debe recordar qué vaso ya ha tocado.
Tabla de Contenidos
- Lo que Construyeron los Investigadores
- Resultados Clave
- Cómo Funciona
- Por Qué Esto Importa para la Robótica
- Limitaciones y Preguntas Abiertas
- Preguntas Frecuentes
- Conclusión
Lo que Construyeron los Investigadores
FM-VLA son las siglas en inglés de "Memoria Basada en Fuerza para Modelos de Visión-Lenguaje-Acción". La innovación principal es un módulo de memoria de fuerza — un autoencoder variacional (VAE) entrenado en secuencias de señales de torsión de 6 ejes (fuerza en 3 ejes + torque en 3 ejes) registradas desde sensores montados en las muñecas de un robot humanoide bimanual (AgiBot G1). El VAE aprende una representación compacta y agnóstica a la tarea del historial de contactos del robot. Esta representación latente se inyecta como "tokens de memoria de fuerza" en una política VLA estándar, permitiendo que el modelo recuerde interacciones físicas pasadas incluso cuando las observaciones visuales son limitadas o idénticas (por ejemplo, dos vasos visualmente iguales).
El sistema se probó en tres tareas que requieren razonamiento temporal con contacto físico: el "juego de los cubiletes" con vasos y bloque (16–24 pasos), una tarea de inserción de una clavija y una tarea de abrir un cajón. Los tokens de memoria de fuerza permiten que la política distinga entre vasos "ya revisados" y "aún no revisados" sin necesidad de inspección visual repetida.
Resultados Clave
En evaluaciones cuantitativas de 18 ensayos por tarea (9 para cada posición del bloque en la tarea de los vasos), FM-VLA superó significativamente a tres líneas base:
- Línea base solo visión (sin memoria de fuerza): éxito en menos del 30% de los ensayos.
- Línea base visión + condicionamiento de fuerza en un solo fotograma (sin memoria temporal): éxito en aproximadamente el 50% de los ensayos, fallando a menudo cuando las señales visuales eran ambiguas.
- Línea base visión + memoria basada en visión (apilamiento de fotogramas o visión recurrente): mejoró respecto a solo visión, pero aún fallaba al distinguir estados físicamente idénticos.
- FM-VLA (modelo completo): alcanzó más del 85% de éxito en todas las tareas, con una sobrecarga de inferencia insignificante (menos de 2 ms de latencia añadida por paso).
El VAE de memoria de fuerza se entrenó de forma agnóstica a la tarea con historiales de torsión de todas las tareas combinadas, luego se congeló y sus tokens latentes (8 tokens por ventana) se alimentaron al experto de acción VLA durante el ajuste fino. Los estudios de ablación confirmaron que eliminar la memoria de fuerza o reemplazarla con señales solo de propiocepción provocaba que el rendimiento cayera a niveles de línea base.
Cómo Funciona
FM-VLA extiende un modelo estándar de visión-lenguaje-acción con un proceso de entrenamiento en dos etapas.
Etapa 1: Preentrenamiento del VAE de memoria de fuerza. El VAE se entrena con series temporales de torsión de 6 ejes a 100 Hz registradas de ambos sensores de muñeca durante todas las tareas de demostración. La función de pérdida es un ELBO enmascarado (cota inferior de evidencia) con regularización de free-bits en cada dimensión latente. Esto produce un espacio latente de propósito general que codifica patrones temporales de eventos de contacto — por ejemplo, el perfil de fuerza característico al levantar un vaso, dejarlo o agarrar un bloque. El codificador comprime una ventana deslizante del historial de torsión en 8 tokens latentes.
Etapa 2: Integración en la política VLA. El codificador VAE congelado se adjunta a la política junto con el codificador visual existente (3 cámaras RGB) y el codificador de propiocepción. Los 8 tokens de memoria de fuerza se concatenan con los tokens de acción en el transformador del experto de acción. La política se ajusta finamente de extremo a extremo con las demostraciones de la tarea, mientras que el codificador VAE permanece congelado. Esto asegura que la representación de memoria de fuerza se mantenga estable y no se sobreajuste a detalles específicos de la tarea.
En tiempo de inferencia, el robot recibe instrucciones en lenguaje natural (por ejemplo, "Encuentra el bloque debajo del vaso y recógelo con la mano izquierda"), observaciones visuales y el flujo actual de torsión. El codificador VAE genera tokens de memoria que informan a la política sobre contactos pasados. Por ejemplo, después de levantar el primer vaso y no encontrar bloque, la firma de torsión de "vaso dejado" se codifica, y la política sabe no volver a levantar ese vaso.
El modelo se evaluó en un robot humanoide bimanual AgiBot G1 con dos brazos de 7 GDL, pinzas y sensores de fuerza/torque de 6 ejes en cada muñeca. El entrenamiento usó 50k pasos de ajuste fino con un programa WSD, tamaño de lote y dropout de imágenes.
Por Qué Esto Importa para la Robótica
La detección de fuerza es barata, robusta y está disponible en muchos robots humanoides y robots colaborativos. La capacidad de usar el historial de fuerza como una forma de memoria temporal desbloquea tareas que requieren entender la secuencia de eventos físicos — no solo la pose actual o la escena visual. Esto es crítico en manufactura, ensamblaje y logística donde los robots deben inspeccionar, clasificar o manipular piezas que se ven idénticas pero difieren en estado (por ejemplo, contenedores vacíos vs. llenos).
El enfoque de FM-VLA es particularmente relevante para robots industriales usados que se reasignan a operaciones flexibles, donde agregar un sensor de fuerza de bajo costo y este módulo de memoria podría habilitar nuevas capacidades sin costosas actualizaciones de visión. Para robots de almacén que manejan paquetes, la memoria de fuerza podría rastrear qué artículos han sido recogidos, incluso cuando los escáneres de código de barras fallan.
Limitaciones y Preguntas Abiertas
El VAE actual usa un cuello de botella fijo de 8 tokens latentes, lo que puede limitar el rendimiento en tareas de horizonte muy largo con cientos de eventos de contacto. Se podría necesitar compresión jerárquica o adaptativa para tareas como ensamblaje de muebles con docenas de pasos de pick-and-place.
El VAE se entrena únicamente con el conjunto de datos de demostración de las tres tareas. El preentrenamiento en conjuntos de datos robóticos a gran escala con diversas grabaciones de fuerza/torque (por ejemplo, de conjuntos de datos públicos de manipulación) podría mejorar la generalización a nuevos entornos o tipos de sensores.
Finalmente, la memoria de fuerza se extrae de sensores de torsión de 6 ejes montados en la muñeca. No todos los robots tienen tales sensores; adaptar FM-VLA para usar sensores de torque articular o incluso medición de corriente ampliaría su aplicabilidad.
Preguntas Frecuentes
¿Qué es un VAE de memoria de fuerza? Es un autoencoder variacional entrenado para comprimir secuencias de señales de fuerza/torque en un pequeño conjunto de tokens latentes que representan el historial de interacciones físicas recientes del robot.
¿En qué se diferencia FM-VLA de los VLA estándar? Los VLA estándar procesan los estados visuales y propioceptivos actuales; FM-VLA añade un módulo de memoria dedicado que codifica patrones temporales de fuerza, permitiendo al robot razonar sobre contactos pasados incluso cuando la entrada visual es ambigua.
¿Qué hardware se necesita para ejecutar FM-VLA? El método requiere un sensor de fuerza/torque de 6 ejes en la muñeca del robot (o detección de contacto similar) y una plataforma computacional capaz de ejecutar modelos de visión-lenguaje-acción. Se demostró en un robot humanoide bimanual AgiBot G1.
¿Puede FM-VLA funcionar con otras arquitecturas robóticas? Sí, el módulo de memoria de fuerza es agnóstico al modelo y puede integrarse en cualquier política VLA que acepte secuencias adicionales de tokens, siempre que haya datos de fuerza/torque disponibles.
Conclusión
FM-VLA demuestra que añadir una memoria basada en fuerza dedicada a modelos de visión-lenguaje-acción mejora drásticamente el rendimiento en tareas de manipulación con contacto físico que requieren razonamiento temporal. Al aprovechar sensores de fuerza/torque baratos y ubicuos, el sistema logra una memoria física robusta con un costo computacional mínimo, apuntando hacia robots más capaces y confiables para ensamblaje e inspección en el mundo real.