El control rápido de robots exige comprender cómo cambia la escena. Una sola imagen puede mostrar la posición de un objeto, pero dejar ambiguos su movimiento y el progreso de la interacción. Los modelos de acción del mundo (WAM) incorporan la predicción de vídeo al control en bucle cerrado, lo que convierte el historial visual en un recurso natural para la acción. Sin embargo, procesar más historial puede retrasar la respuesta que pretende mejorar. Este trabajo estudia cómo escala el control con WAM al aumentar el contexto visual y cómo mantener esas mejoras bajo restricciones de tiempo real.
Escalado del contexto de WAM mediante generación autorregresiva de vídeo
Long-WAM relaciona el escalado del contexto con la capacidad de predecir la evolución física a partir del historial. Primero aprende la dinámica del movimiento y la interacción de robots mediante un preentrenamiento autorregresivo de vídeo con secuencias largas; después, transfiere esta base predictiva a la generación de acciones, preservando su estructura temporal causal. La política resultante condiciona las acciones tanto al historial observado como a los futuros previstos, y convierte la predicción en una representación intermedia para el control. A continuación, el estudio examina cómo depende el beneficio de añadir historial de la inicialización del vídeo y distingue entre disponer de un contexto más largo y haber aprendido a aprovecharlo.
Escalado del contexto de los modelos de acción del mundo
Se escala la duración de las observaciones reales del prefijo causal, mientras que el pronóstico visual y el horizonte de acción se mantienen fijos en cada benchmark. Así se comprueba si la evidencia adicional del pasado mejora la misma decisión de control a corto plazo, en lugar de cambiar hasta dónde predice o actúa el modelo.
Cada ventana utiliza un modelo entrenado por separado y evaluado con la longitud de contexto usada durante su entrenamiento; con historial cero se conserva la observación actual. Cuando falta el historial del inicio del episodio, se repite el fotograma inicial.
Despliegue eficiente en el borde
La inferencia local evita los retrasos de red, pero la predicción basada primero en vídeo es costosa con recursos informáticos limitados a bordo. Long-WAM se acelera en NVIDIA GeForce RTX 5090, DGX Spark y Jetson AGX Thor para permitir la ejecución con solapamientos breves sin renunciar a la imaginación visual. Las optimizaciones compartidas reducen los costes habituales de cómputo y movimiento de datos; los ajustes específicos para cada dispositivo responden a las limitaciones de la plataforma y equilibran la portabilidad con la eficiencia del hardware.
La implementación conserva la atención conjunta sin un búfer KV concatenado. También agrupa los accesos a memoria, fusiona las operaciones de escala/sesgo y conversión de tipo, y simplifica las disposiciones y el relleno de VAE, sujeto a las restricciones de forma y backend.
Detalles de implementación
El preentrenamiento de LongLive2.0-Robot requiere aproximadamente 30,720 horas de GPU en 64 GPU NVIDIA H100; los WAM posteriores se entrenan en 16 GPU GB200. El entrenamiento de WAM utiliza AdamW, una tasa de aprendizaje máxima de un valor no especificado, decaimiento cosenoidal, calentamiento del 5%, precisión BF16 y recorte del gradiente a 1.0.
Los experimentos con robots utilizan un humanoide Unitree G1 y un manipulador bimanual YAM. El apéndice D del artículo enumera las referencias de los métodos de referencia.
Ejecución atómica y planificación composicional
Long-WAM por sí solo alcanza un 67.9% de éxito en Atomic-Seen, frente al 39.6% de un método no especificado y al 31.5% de GPT-6 Astra por sí solo, lo que proporciona una sólida base de habilidades físicas. Consultar la misma política cada 15 pasos alcanza un 84.4% sin planificador, cerca del 85.6% del sistema jerárquico.
Despliegue en el mundo real
La manipulación dinámica en Unitree G1 y las tareas de horizonte largo en YAM se evalúan con 20 ensayos por política y condición.
Datos de preentrenamiento
El corpus de preentrenamiento contiene 2,294,889 muestras de texto e imagen a vídeo listas para el modelo, procedentes de cinco familias de conjuntos de datos. El artículo informa de seis subconjuntos de origen, incluidos dos subconjuntos de AgiBot World. Las particiones de entrenamiento, validación y prueba contienen 2,251,021, 21,931 y 21,937 muestras, respectivamente.
La escala de entrenamiento de aproximadamente 10,000 horas es una estimación equivalente en ventanas: asignar 16 segundos a cada muestra de entrenamiento da un total agregado de 10,004.5 horas. No es una medición de metraje original único; las ventanas solapadas, la duración de los clips de origen y el relleno afectan a esa distinción.
El preentrenamiento utiliza predicción de vídeo sin supervisión de acciones, por lo que las fuentes no necesitan compartir coordenadas de acción ni dimensiones de actuadores. La supervisión independiente del espacio de acción es una propiedad de esta etapa; para demostrar una mejor transferencia a una configuración física no vista se necesitaría una evaluación aparte.
Manipulación dinámica compuesta
El artículo describe el apilamiento dinámico de vasos con Unitree G1. Long-WAM coordina el agarre del vaso azul, la interceptación del vaso verde en movimiento y su colocación dentro del vaso azul. En cambio, las ejecuciones del método de referencia no alcanzan el vaso verde durante la interceptación.
Manipulación de horizonte largo
Long-WAM ejecuta tres tareas con YAM que requieren interacciones sucesivas con objetos. Las secuencias muestran avances dirigidos a la tarea mediante acciones repetidas de recoger y colocar, como complemento a las conductas dinámicas rápidas descritas anteriormente. Estas tareas duran más de 40 segundos de media.
Preguntas frecuentes
¿Qué utiliza Long-WAM para guiar las acciones del robot? Condiciona las acciones al historial observado y a los futuros previstos, y utiliza la predicción como representación intermedia para el control.
¿Cómo funciona la evaluación del escalado del contexto? Varía la duración de las observaciones del prefijo causal y mantiene fijos el pronóstico visual y el horizonte de acción en cada benchmark.
¿Qué robots se utilizan en los experimentos? Los experimentos utilizan un humanoide Unitree G1 y un manipulador bimanual YAM.
¿Qué rendimiento obtiene Long-WAM en las tareas Atomic-Seen? Long-WAM por sí solo alcanza un 67.9% de éxito en Atomic-Seen; consultarlo cada 15 pasos logra un 84.4% sin planificador.