MemoryVLA++ extiende los modelos estándar de visión-lenguaje-acción (VLA) con un banco de memoria dedicado y un modelo del mundo que imagina estados visuales futuros, permitiendo a los robots manejar tareas que requieren razonamiento temporal, recuperación de memoria y planificación predictiva. Al combinar observaciones pasadas con escenarios futuros imaginados, el modelo mejora significativamente las tasas de éxito en tareas de manipulación de largo horizonte y dependientes de memoria, tanto en simulación como con robots reales.
Tabla de contenidos
- Lo que construyeron los investigadores
- Resultados clave
- Cómo funciona
- Por qué esto es importante para la robótica
- Limitaciones y preguntas abiertas
- Preguntas frecuentes
- Conclusión
Lo que construyeron los investigadores
El equipo desarrolló MemoryVLA++, un modelo de visión-lenguaje-acción que añade dos componentes críticos que faltaban en enfoques VLA anteriores: un módulo de memoria temporal y un módulo de imaginación (un modelo del mundo). El módulo de memoria almacena representaciones latentes comprimidas de observaciones pasadas en un horizonte de longitud variable (de 16 a 256 pasos), permitiendo al modelo razonar sobre eventos que ocurrieron antes en una tarea. El módulo de imaginación — un modelo del mundo basado en difusión entrenado por separado — genera características visuales futuras predichas a partir de observaciones actuales y planes de acción, permitiendo al robot "imaginar" resultados antes de ejecutarlos.
El modelo genera acciones continuas de 7-GDL (traslación del efector final, rotación y estado de la pinza) tanto para manipulación con un solo brazo como con dos brazos. Se probó en tres plataformas robóticas diferentes: Franka Panda, WidowX y una configuración personalizada de dos brazos. En 5 benchmarks de simulación (Libero, SimplerEnv, Mikasa-Robo, Calvin, Libero-Plus) y 17 tareas del mundo real, MemoryVLA++ superó consistentemente al fuerte baseline CogACT, especialmente en tareas de largo horizonte y dependientes de memoria, como pulsar botones secuencialmente o empacar bolsas en una cinta transportadora.
Resultados clave
Las evaluaciones cubrieron casi 200 tareas con variaciones extensas. En el benchmark Libero (130 tareas), MemoryVLA++ logró tasas de éxito más altas que CogACT en los cinco conjuntos — Espacial, Objeto, Meta, Largo-10 y Largo-90 — con las mayores ganancias en el conjunto de largo horizonte Largo-90. En SimplerEnv, entrenado en BridgeData-v2 y probado en cero disparos, el modelo superó a métodos anteriores por un margen claro en éxito de manipulación general.
En Mikasa-Robo (5 tareas dependientes de memoria), MemoryVLA++ dominó tareas que requerían recordar estados pasados de objetos, donde los modelos VLA estándar a menudo fallaban en el segundo o tercer paso. En el benchmark Calvin (tareas de cadena condicionadas por lenguaje de largo horizonte), el modelo completó en promedio más de 4 de 5 instrucciones consecutivas, superando al mejor anterior en más de 10 puntos porcentuales. En Libero-Plus (robustez y generalización con 7 variaciones fuera de distribución), el modelo mostró una fuerte robustez incluso en entornos de cero disparos, y mejoró aún más con ajuste fino supervisado.
Los resultados del mundo real con 17 tareas — incluyendo "Adivina Dónde" (dependiente de memoria) y "Escaneo-Recogida en Cinta" (dependiente de imaginación) — demostraron que MemoryVLA++ podía manejar nuevas disposiciones de objetos, velocidades variables de cinta y secuencias interrumpidas. Por ejemplo, en "Empacar y Cerrar Bolsa", el robot de dos brazos metió la mano en la bolsa, empacó cinco objetos y cerró la bolsa con alta puntuación parcial de éxito en 10 ensayos consecutivos.
Cómo funciona
MemoryVLA++ sigue una arquitectura modular construida sobre un backbone VLA preentrenado. La innovación clave es añadir un experto en acciones con conciencia temporal que procesa tres flujos de información: 1) observaciones visuales actuales (tokens de imagen), 2) una secuencia de memorias latentes pasadas, y 3) características visuales futuras imaginadas.
Módulo de memoria: Durante el entrenamiento, el modelo comprime cada par observación-acción en un token latente compacto mediante un codificador. Estos tokens se almacenan en un búfer circular. En inferencia, se recuperan los últimos _N_ tokens de memoria y se pasan a través de atención cruzada con los tokens de observación actual, produciendo una característica con conciencia de contexto.
Modelo del mundo: Un modelo de difusión separado se entrena (40k pasos en simulación, 20k en datos reales) para generar tokens de características visuales futuras a partir de observaciones actuales y un plan de acción. Durante tareas de largo horizonte, el robot imagina repetidamente los siguientes pasos, y las características imaginadas se combinan con observaciones reales para seleccionar acciones.
Fusión temporal-acción: Las características con conciencia cognitiva de memoria e imaginación se pasan luego a través de una capa de atención de percepción que inyecta detalles visuales finos del fotograma actual, seguida de una FFN. Las representaciones finales eliminadas de ruido son proyectadas por un MLP para generar acciones continuas de 7-GDL (traslación, rotación, pinza). El entrenamiento utiliza pérdida de error cuadrático medio (MSE) entre las secuencias de acción predichas y objetivo.
El modelo admite longitudes de memoria variables — 16 pasos para tareas generales, 256 pasos para tareas temporales de largo horizonte — y puede operar a 5–10 Hz en una sola GPU, lo que lo hace práctico para control robótico en tiempo real.
Por qué esto es importante para la robótica
Añadir memoria e imaginación explícitas a los modelos VLA aborda un cuello de botella crítico en el despliegue de robots para tareas del mundo real que requieren más que recoger y colocar de forma reactiva. Robots de almacén que deben recordar qué artículos han sido escaneados o robots de cocina que necesitan seguir una secuencia de pasos sin reiniciar cada vez son candidatos ideales para este enfoque.
Por ejemplo, un robot de almacén encargado de clasificar artículos mixtos en una cinta transportadora podría usar el módulo de imaginación para anticipar colisiones y planificar agarres con antelación. De manera similar, robots humanoides que realizan ensamblaje de múltiples pasos se beneficiarían de la memoria de acciones anteriores. MemoryVLA++ también muestra promesa para tareas colaborativas con dos brazos, una capacidad que aún es rara en sistemas VLA comerciales.
El diseño modular significa que los modelos VLA existentes (como CogACT u Octo) pueden ser equipados con módulos temporales sin reentrenamiento completo, reduciendo la barrera de adopción para integradores de robótica. A medida que el modelo del mundo mejore, los robots podrán operar cada vez más en entornos dinámicos y parcialmente observables, en lugar de celdas fijas y programadas.
Limitaciones y preguntas abiertas
Aunque MemoryVLA++ logra resultados sólidos, persisten varias limitaciones. El modelo del mundo se entrena fuera de línea con demostraciones recopiladas y puede no generalizarse a dinámicas realmente novedosas — por ejemplo, objetos con masa o fricción desconocidas. El búfer de memoria almacena tokens latentes, que comprimen información pero pueden perder detalles finos necesarios para tareas precisas (por ejemplo, insertar una clavija en un agujero apretado). El costo computacional escala linealmente con la longitud de la memoria, lo que dificulta la operación en tiempo real en hardware embebido. Finalmente, el módulo de imaginación no se entrena conjuntamente con la política de acción; integrarlos de extremo a extremo podría generar mayores ganancias.
Preguntas frecuentes
¿Qué es un modelo VLA? Un modelo de Visión-Lenguaje-Acción toma imágenes de cámara e instrucciones en lenguaje natural como entrada y genera directamente comandos de motor del robot, sin necesidad de planificación de movimiento explícita o pipelines de percepción.
¿En qué se diferencia el módulo de memoria de simplemente usar un historial de fotogramas? MemoryVLA++ almacena representaciones latentes comprimidas en lugar de píxeles sin procesar, lo que reduce el cómputo y permite retener secuencias más largas (hasta 256 pasos) sin desbordamiento de memoria.
¿Se puede usar MemoryVLA++ en cualquier robot? Sí, el espacio de acción de salida (continuo de 7-GDL) es común en la mayoría de los brazos robóticos articulados. El modelo se ha validado en Franka, WidowX y una configuración de dos brazos, y se puede adaptar a otras plataformas con definiciones de acción consistentes.
¿Qué hardware se necesita para ejecutar MemoryVLA++ en tiempo real? Los autores reportan inferencia en tiempo real (5–10 Hz) en una sola GPU Nvidia RTX 4090. En hardware más ligero, puede ser necesario reducir la longitud de la memoria o la resolución del modelo del mundo.
Conclusión
MemoryVLA++ introduce una forma práctica de dotar a los robots basados en VLA de conciencia temporal mediante un banco de memoria y un modelo del mundo. Probado en casi 200 tareas en simulación y el mundo real, supera consistentemente a los modelos de referencia, especialmente en desafíos de largo horizonte y dependientes de memoria. Para equipos de robótica que buscan ir más allá del recoger y colocar reactivo, este enfoque ofrece una ruta de actualización clara.