Este artículo introduce un enfoque de preentrenamiento que construye un espacio latente compartido de video-acción, permitiendo a los robots aprender políticas de control a partir de datos de video a gran escala sin requerir etiquetas de acción robótica. Se entrena un tokenizador semántico visual-acción para comprimir tanto observaciones visuales como acciones robóticas en un espacio latente discreto unificado, y luego se preentrena un modelo causal de video-acción en este espacio para predecir latentes visuales futuros y las acciones latentes que los conectan.
Preentrenamiento e Inferencia del Modelo de Video-Acción
Basándose en el tokenizador semántico visual-acción, la segunda etapa preentrena un modelo causal de video-acción en el espacio latente compartido de video-acción. Se organiza en dos niveles: un planificador de alto nivel que descompone el objetivo lingüístico en subtareas y rastrea su progreso, y una política de video-acción de bajo nivel que realiza cada subtarea prediciendo latentes visuales futuros y las acciones latentes que los conectan. La política opera a nivel de fragmentos, por lo que el rango de índices cubre fragmentos en lugar de fotogramas individuales.
Mientras que la política de video-acción maneja el control continuo dentro de una sola subtarea, las tareas de largo horizonte requieren descomponer un objetivo de alto nivel en subtareas, rastrear qué subtarea está activa actualmente y decidir cuándo transicionar a la siguiente. El planificador se implementa como un modelo de visión-lenguaje (VLM) preentrenado y ajustado para producir contexto estructurado de subtareas para la política. El backbone VLM proporciona anclaje visual-lingüístico de forma nativa, permitiendo al planificador evaluar el estado de la tarea a partir de observaciones visuales dispersas sin aprender a comprender la escena desde cero.
Desacoplamiento Planificador-Política
El planificador y la política se ejecutan a diferentes frecuencias y se desacoplan mediante un buffer compartido asíncrono. El planificador se ejecuta en segundo plano a menor frecuencia y escribe contexto estructurado de subtareas en el buffer; la política lee el contexto más reciente en cada límite de fragmento de acción como señal de condicionamiento. Esto asegura que la latencia de inferencia del planificador no bloquee el bucle de ejecución de la política.
Salida Estructurada del Planificador
El formato de salida del planificador debe coincidir exactamente con los campos de condicionamiento que la política de video-acción ve durante el entrenamiento; cualquier discrepancia provoca que la política reciba condicionamiento fuera de distribución en la inferencia. Bajo esta restricción, la salida del planificador se define como un JSON estructurado con cuatro campos:
- done: Una señal de finalización que indica si la subtarea actual debe continuar o el planificador debe transicionar a la siguiente.
- instruction: Una directiva de ejecución compacta para la subtarea actual o siguiente, por ejemplo, "Recoge la botella roja de la mesa." Este es el campo de condicionamiento principal que consume la política durante el entrenamiento.
- generation_instruction: Una descripción más rica del movimiento robótico esperado y la interacción con objetos dentro de la subtarea, dando a la política una señal de ejecución más específica.
- local_scene_description: Una descripción basada en observación de la disposición espacial y el estado de los objetos, proporcionando contexto local para la política.
El campo done es utilizado solo por el planificador de alto nivel para decidir si mantener o refrescar la subtarea actual. La política de bajo nivel se condiciona con los tres campos textuales: instruction proporciona el comando compacto, mientras que generation_instruction y local_scene_description proporcionan contexto de acción y escena más detallados cuando están disponibles.
Receta de Datos
LingBot-VA 2.0 se entrena con una receta de datos que sigue un currículo multitarea: preentrenamiento general de texto a imagen, preentrenamiento general de texto a video y, finalmente, adaptación de video-acción en datos robóticos.
Datos Generales de Imagen y Video
Para las etapas de preentrenamiento general de texto a imagen y texto a video, se reutilizan los corpus de imagen y video curados para LingBot-Video. Estos datos de imagen y video a escala web proporcionan amplios priors de apariencia y dinámica antes de la adaptación de video-acción.
Datos Robóticos
Todos los datos robóticos se reprocesan con un pipeline de anotación unificado. Cada trayectoria larga se segmenta en clips de acción atómicos, y a cada clip se le asigna un prompt lingüístico y una instrucción de tarea global usando Qwen3.5-397B. Este paso de reetiquetado repara prompts faltantes o demasiado genéricos en versiones anteriores y hace que la supervisión lingüística sea más consistente entre morfologías y conjuntos de datos.
Evaluación en Simulación
El modelo se evalúa en RoboTwin, un benchmark de manipulación bimanual con configuraciones limpias y con aleatorización de dominio, y se reporta la tasa de éxito de la tarea frente a líneas base representativas. Siguiendo a LingBot-VA, se adopta una configuración de entrenamiento multitarea donde todos los modelos se entrenan con 2500 demostraciones recolectadas en escenas limpias (50 por tarea) más 25,000 demostraciones de escenas fuertemente aleatorizadas (500 por tarea).
Estudio de Ablación
Para aislar el efecto del tokenizador, se entrena desde cero un modelo de video-acción de 1.3B para cada variante. La línea base WAN2.2 VAE y el tokenizador propuesto se entrenan con el mismo número de tokens y se utilizan para inicializar la misma arquitectura downstream. Luego se aplica el mismo post-entrenamiento en RoboTwin y se evalúa la tasa de éxito en las divisiones oficiales Easy y Hard.
La ablación del tokenizador muestra que reemplazar el WAN2.2 VAE orientado a reconstrucción con el tokenizador propuesto mejora consistentemente el rendimiento en RoboTwin en todos los horizontes de predicción. La ganancia se vuelve mayor para horizontes más largos, sugiriendo que la tokenización semántica visual-acción preserva información de estado que es más útil para el modelado de mundo-acción y el control downstream.
Conclusión
Varias direcciones quedan abiertas. El planificador y la política se entrenan actualmente por separado y se acoplan a través de una interfaz fija; un entrenamiento conjunto más estrecho podría mejorar aún más la consistencia a largo plazo. El espacio de acción latente se aprende de video pasivo, y señales interactivas o de refuerzo podrían afinarlo para el control. Finalmente, escalar el corpus de preentrenamiento y el backbone disperso aún más, y ampliar la cobertura de morfologías más allá de la manipulación bimanual, son pasos naturales hacia un modelo fundacional generalista para la robótica.
Contribuyentes
Zelin Gao, Wei Wu, Kecheng Zheng, Ruonan Zhang, Han Zhang, Jingmei Zhao, Yongtao Huang, Haitao Wang, Jingjing Wang, Chen Song
Preguntas Frecuentes
¿Cómo se comunica el planificador con la política durante la inferencia? El planificador se ejecuta de forma asíncrona en segundo plano y escribe contexto JSON estructurado en un buffer compartido, que la política lee en cada límite de fragmento de acción sin bloquear la ejecución.
¿Qué datos se utilizan para el currículo de entrenamiento en tres etapas? El modelo utiliza datos de imagen y video a escala web para el preentrenamiento general, seguido de datos robóticos reprocesados con un pipeline de anotación unificado usando Qwen3.5-397B para el reetiquetado lingüístico.
¿La ablación del tokenizador muestra beneficios sobre la reconstrucción estándar con VAE? Sí, el tokenizador semántico visual-acción supera consistentemente a la línea base WAN2.2 VAE en RoboTwin, con mayores ganancias para horizontes de predicción más largos.
¿Qué tipo de benchmark se utiliza para la evaluación? La evaluación se realiza en RoboTwin, un benchmark de manipulación bimanual con configuraciones limpias y con aleatorización de dominio, midiendo la tasa de éxito de la tarea en las divisiones Easy y Hard.