LiMA es un marco asíncrono y multiescala para generar conjuntamente previsión a largo plazo y acciones robóticas. Emplea una arquitectura de doble sistema que coordina la generación en distintas escalas temporales, lo que permite una ejecución física rápida sin sacrificar la planificación a largo horizonte. Para mantener la coherencia entre ambos sistemas, LiMA introduce un mecanismo Latent Schrödinger Bridge Coupling que modela la transición desde la intención abstracta hasta los comandos motores como un proceso continuo de transporte probabilístico, estrechando el acoplamiento de características entre la imaginación de alto nivel y el refinamiento de bajo nivel. Esta integración se refuerza mediante Spatiotemporal Adaptive Modulation, que fundamenta la previsión a largo plazo en observaciones físicas en tiempo real.
LiMA desacopla la imaginación a largo alcance de la ejecución reactiva, superando los cuellos de botella de la inferencia generativa. Su mecanismo Latent Schrödinger Bridge con modulación adaptativa garantiza una estrecha alineación de características entre la intención semántica y la acción física. La evaluación demuestra un rendimiento competitivo en tareas del mundo real, además de eficiencia computacional para aplicaciones en tiempo real.
Preliminares
El objetivo global de la política generativa es modelar la distribución de probabilidad conjunta condicional para predecir un bloque de acciones sincronizadas a lo largo de un horizonte temporal futuro. Este bloque de acciones encapsula las trayectorias coordinadas de ambos brazos robóticos y de todos los dedos diestros.
La fórmula omitida define la distribución conjunta condicional utilizada para predecir acciones futuras sincronizadas de brazos y dedos.
Configuración experimental
Configuración del robot
La plataforma de evaluación en el mundo real consta de una configuración bimanual con dos brazos robóticos UR5 de 6-DoF equipados con dos manos diestras de cinco dedos SharpaWave de 22-DoF.
El conjunto de percepción multimodal comprende tres cámaras Intel RealSense D435: una cámara montada en la cabeza que captura la vista egocéntrica global y dos cámaras montadas en las muñecas que capturan vistas de coordinación localizadas. Los VIVE Trackers capturan las trayectorias espaciales relativas de las muñecas humanas para el control en tiempo real de los efectores finales de los brazos UR5. De forma simultánea, las configuraciones de los dedos humanos se registran mediante guantes MetaGlove Pro y se mapean a las manos SharpaWave de 22-DoF mediante un flujo de reasignación cinemática en el espacio articular.
Referencias y protocolo de evaluación
LiMA se evalúa frente a cuatro referencias de vanguardia:
- Gr00T N1.6 e InternVLA-A1, dos modelos de visión-lenguaje-acción.
- VPP y Cosmos-Policy, dos modelos de mundo-acción.
La tasa de éxito (SR) mide la finalización general de la tarea, mientras que la tasa de éxito de progreso (PSR) proporciona una medida detallada del avance de las subtareas.
Conclusión
LiMA es un marco basado en difusión asíncrona para conectar la imaginación a largo plazo con la ejecución reactiva de alta frecuencia. Coordina Future Dreamer y Motion Refiner mediante una arquitectura de doble sistema, lo que permite una previsión a largo horizonte y conserva la capacidad de respuesta en tiempo real. Un mecanismo Latent Schrödinger Bridge Coupling alinea además la intención estratégica con los latentes de ejecución limpios. Amplios experimentos en el mundo real demuestran que LiMA mejora la manipulación compleja a largo horizonte, manteniendo al mismo tiempo la robustez y un control eficiente en bucle cerrado.
Este trabajo contó con el apoyo de la National Natural Science Foundation of China y la Beijing Natural Science Foundation. Los autores agradecen a Xiansheng Chen su apoyo con la configuración del hardware, y a Yuqi Cao, Liangwei Hu y Liwen Tong sus valiosas aportaciones y sus conversaciones detalladas sobre las derivaciones matemáticas.
Detalles adicionales de implementación
Disposición de los tokens latentes
Siguiendo la convención de tensores latentes de Cosmos-Policy, LiMA representa la información multimodal en un tensor latente de cinco dimensiones. Cada tensor latente se organiza de la siguiente manera:
La fórmula omitida especifica la organización de la información multimodal dentro del tensor latente de cinco dimensiones.
Configuración del sistema robótico
El sistema robótico del mundo real incluye el flujo operativo del sistema, la recopilación de demostraciones y el protocolo de ejecución de la política. La plataforma experimental consta de dos brazos robóticos UR5, dos manos diestras de cinco dedos SharpaWave, tres cámaras Intel RealSense D435, VIVE Trackers y guantes MetaGlove Pro.
Sistema de percepción
Las tres cámaras RealSense D435 proporcionan una vista global y dos vistas locales de las muñecas. La cámara montada en la cabeza captura la escena completa de la tarea, incluidos los objetos objetivo, el espacio de trabajo de manipulación y el progreso de la tarea. Las dos cámaras montadas en las muñecas se instalan cerca de los efectores finales de los brazos robóticos izquierdo y derecho para proporcionar observaciones visuales locales alrededor de las regiones de contacto.
Todas las cámaras se fijan antes de los experimentos para garantizar observaciones multivista coherentes dentro del mismo espacio de trabajo robótico.
Recopilación de demostraciones
Durante la recopilación de demostraciones humanas, el operador utiliza VIVE Trackers para registrar las trayectorias espaciales relativas de ambas muñecas. Estas trayectorias se transforman y se mapean a trayectorias de referencia de los efectores finales de los dos brazos UR5.
Los guantes MetaGlove Pro registran las configuraciones de las articulaciones de los dedos de ambas manos. Estas configuraciones se mapean a las manos diestras SharpaWave de 22-DoF mediante un flujo de reasignación cinemática en el espacio articular.
Este proceso produce trayectorias sincronizadas de brazos dobles, trayectorias articulares de ambas manos, observaciones visuales multivista e instrucciones lingüísticas de la tarea.
Ejecución de la política
Durante la ejecución de la política, cada política genera un bloque de acciones de horizonte corto a partir de las observaciones actuales. El bloque de acciones predicho contiene comandos de movimiento para los dos brazos UR5 y comandos articulares para las manos diestras SharpaWave izquierda y derecha.
Antes de cada ensayo en el mundo real, la escena experimental se restablece a un estado inicial predefinido, que incluye la postura inicial del robot y la instrucción de tarea correspondiente. Todos los métodos se evalúan con la misma plataforma robótica, configuración de cámaras, protocolo de inicialización de tareas y criterios de éxito. Esto garantiza que las comparaciones entre LiMA y las referencias reflejen principalmente diferencias en el diseño de las políticas, en lugar de condiciones del hardware o configuraciones de evaluación.
Configuración de las referencias
LiMA se compara con referencias representativas que abarcan el modelado integrado de mundo-acción, el modelado de visión-lenguaje-acción y el aprendizaje de políticas basado en predicción de vídeo. Todas las referencias se evalúan con la misma plataforma robótica del mundo real, configuración de cámaras, protocolo de inicialización de tareas y criterios de éxito que LiMA.
Para cada referencia, se sigue, cuando corresponde, el protocolo de entrenamiento o ajuste fino recomendado por su artículo original. Las salidas de acción se adaptan a la misma interfaz de ejecución para el robot diestro bimanual.
Cosmos-Policy
Cosmos-Policy se utiliza como referencia de modelado integrado de mundo-acción. Mapea las acciones del robot al espacio latente visual y elimina conjuntamente el ruido de los latentes de acción y de imagen dentro de un proceso de eliminación de ruido unificado basado en DiT.
Cosmos-Policy es la referencia generativa integrada más cercana a LiMA, ya que ambos métodos modelan la información visual futura y las acciones robóticas dentro de un marco generativo compartido.
GR00T N1.6
GR00T N1.6 se utiliza como referencia representativa de vanguardia de visión-lenguaje-acción. Recibe observaciones visuales del robot e instrucciones lingüísticas como entradas para un modelo de visión-lenguaje orientado a la comprensión semántica. Un cabezal de acción condicionado por el estado del robot genera acciones continuas mediante un proceso de eliminación de ruido.
En esta configuración, los 2,000 pasos de entrenamiento recomendados oficialmente no mostraron por completo su mejor rendimiento en las tareas de manipulación diestra bimanual. Por ello, los resultados se presentan después de entrenar GR00T N1.6 durante 50,000 pasos en una GPU NVIDIA H100.
VPP
VPP se utiliza como referencia de modelo de dinámica inversa. Utiliza predicciones visuales futuras producidas por un modelo de vídeo como información de condicionamiento y las introduce en un DiT de acciones para generar acciones robóticas.
Esta referencia representa el paradigma de predecir primero los estados visuales futuros y derivar después las acciones a partir de la condición visual predicha.
InternVLA-A1
InternVLA-A1 adopta una arquitectura Mixture-of-Transformers que unifica la comprensión de la escena, la previsión generativa y el modelado de acciones dentro de un único marco. El modelo adquiere una representación rica del entorno y utiliza observaciones visuales futuras predichas para orientar la generación de acciones.
Para adaptarse a la configuración articular completa del sistema de dos brazos y dos manos, compuesto por dos brazos robóticos de 6-DoF y dos manos diestras de 22-DoF, con un total de 56 DoF, la dimensionalidad de las acciones se amplía en consecuencia. El modelo se inicializa a partir del punto de control preentrenado InternVLA-A1-3B.
Protocolo de comparación justa
Todas las referencias se entrenan o ajustan con el mismo conjunto de datos de demostraciones del mundo real siempre que se requiere entrenamiento específico para la tarea. Utilizan las mismas instrucciones de tarea, observaciones robóticas multivista, entradas de estado del robot y protocolo de evaluación que LiMA.
Dado que las distintas referencias adoptan representaciones de acción nativas diferentes, sus interfaces de salida se adaptan al mismo espacio de ejecución bimanual, incluidos los comandos de movimiento de los brazos y los comandos articulares de las manos diestras.
Métricas de evaluación
Los experimentos robóticos en el mundo real utilizan principalmente la tasa de éxito, la tasa de éxito de progreso y el tiempo de inferencia.
Tasa de éxito
La tasa de éxito mide si una política puede completar toda la tarea. En cada ensayo en el mundo real, el ensayo se considera exitoso únicamente si el robot completa todos los objetivos predefinidos de la tarea en el orden correcto. Por tanto, SR refleja el éxito final de cada política a nivel de tarea.
Tiempo de inferencia
El tiempo de inferencia evalúa la capacidad de implementación en tiempo real para el control robótico en bucle cerrado. Denota el tiempo medio necesario para que una política genere un bloque de acciones ejecutable a partir de la observación actual.
En los modelos de inferencia síncrona, el tiempo de inferencia se mide mediante el tiempo de pasada hacia delante de cada inferencia completa de la política. En LiMA, Future Dreamer se actualiza a una frecuencia menor, mientras que Motion Refiner se ejecuta en el bucle de control de alta frecuencia. Por tanto, se informa del tiempo medio de inferencia efectivo durante la ejecución asíncrona.
En concreto, se calcula como la suma de un tiempo de inferencia de Future Dreamer y de todos los tiempos de inferencia de Motion Refiner dentro de un ciclo de actualización asíncrono, dividida por el número de bloques de acciones generados en ese ciclo.
Todas las mediciones del tiempo de inferencia se recopilan con la misma plataforma robótica y el mismo protocolo de ejecución para garantizar una comparación justa.
Evaluación de la generalización
En las configuraciones con fondos no vistos y condiciones de iluminación no vistas, LiMA muestra fluctuaciones mayores en la tasa de éxito que en la configuración base, porque estas perturbaciones afectan directamente a la apariencia visual de la región de la tarea.
No obstante, LiMA sigue superando a las referencias en estas condiciones. Estos resultados sugieren que el diseño asíncrono Dreamer–Refiner y el acoplamiento latente entre intención y ejecución ayudan a LiMA a mantener una mayor robustez cuando se alteran tanto los factores visuales relevantes para la tarea como los irrelevantes.
Preguntas frecuentes
¿Para qué está diseñado LiMA? LiMA genera conjuntamente previsión a largo plazo y acciones robóticas, al tiempo que permite una ejecución reactiva de alta frecuencia para la manipulación diestra.
¿Qué plataforma robótica se utiliza para la evaluación? La plataforma utiliza dos brazos UR5 de 6-DoF, dos manos diestras de cinco dedos SharpaWave de 22-DoF, tres cámaras Intel RealSense D435, VIVE Trackers y guantes MetaGlove Pro.
¿Qué métricas se utilizan para evaluar las políticas? Los experimentos utilizan la tasa de éxito, la tasa de éxito de progreso y el tiempo de inferencia.
¿Cómo permite LiMA el control en tiempo real? Su Future Dreamer opera a una frecuencia menor, mientras que Motion Refiner se ejecuta en un bucle de control de alta frecuencia mediante la ejecución asíncrona.