T2-z incorpora condicionamiento mediante latentes del entorno a los modelos del mundo robóticos. Alterna entre la optimización del modelo del mundo, que aprende dinámicas condicionadas por las acciones, y la optimización de latentes del entorno, que capturan factores ocultos del entorno. En un entorno nuevo, el modelo del mundo permanece congelado y solo se optimiza la variable latente. En siete tareas de simulación y cuatro tareas del mundo real, T2-z supera a los métodos de referencia en predicción de vídeo y selección de acciones.
Método
T2-z alterna entre optimizar el modelo del mundo y optimizar una variable latente del entorno. El modelo del mundo aprende dinámicas condicionadas por las acciones, mientras que la variable latente captura factores ambientales ocultos. Al adaptarse a un entorno nuevo, el modelo del mundo permanece congelado y solo se optimiza la variable latente.
Configuración del simulador y del mundo real
Las tareas personalizadas usan un simulador basado en LIBERO con un brazo Franka Panda. Los vídeos RGB simulados se graban a 20 frames por segundo y [resolución de imagen no especificada en el texto proporcionado]. La representación de las acciones tiene 14 canales.
Modelo del mundo estándar de referencia
El modelo del mundo estándar de referencia ajusta finamente el DiT inicializado con BWM y el codificador de acciones con trayectorias de tareas agrupadas. No utiliza una variable latente del entorno ni adaptación en tiempo de prueba.
El método de referencia usa AdamW con una tasa de aprendizaje del modelo de [valor no especificado en el texto proporcionado], una disminución de peso de [valor no especificado en el texto proporcionado], 100 actualizaciones de calentamiento, recorte del gradiente de [valor no especificado en el texto proporcionado] y bfloat16.
Eficiencia computacional
La eficiencia computacional se analiza en una configuración representativa de Friction con una GPU H200. Cada método se calienta durante dos pasos del optimizador y se cronometra durante diez pasos adicionales.
La métrica informada es la mediana del tiempo de optimización dedicado exclusivamente al cómputo por actualización, sin incluir la lectura de datos, junto con el uso máximo de memoria asignada de la GPU; no representa el tiempo de entrenamiento de una ejecución completa. Cada actualización medida tiene seis segmentos de vídeo que contribuyen a la pérdida, y se incluye el cálculo del condicionamiento específico de cada método.
Las actualizaciones del modelo del mundo y de la variable latente en T2-z son fases separadas, por lo que se informan por separado. LoRA TTA parte del modelo del mundo estándar y no tiene una fila independiente de entrenamiento del modelo del mundo.
Conclusión
T2-z incorpora condicionamiento mediante latentes del entorno a los modelos del mundo robóticos. Alterna entre la optimización del modelo del mundo, que aprende dinámicas condicionadas por las acciones, y la optimización de latentes del entorno, que capturan factores ocultos del entorno. En un entorno nuevo, el modelo del mundo permanece congelado y solo se optimiza la variable latente. En siete tareas de simulación y cuatro tareas del mundo real, T2-z supera a los métodos de referencia en predicción de vídeo y selección de acciones.
Preguntas frecuentes
¿Qué optimiza T2-z al adaptarse a un entorno nuevo? Optimiza la variable latente del entorno y mantiene congelado el modelo del mundo.
¿Qué aprende la optimización del modelo del mundo? Aprende dinámicas condicionadas por las acciones.
¿Qué captura la variable latente del entorno? Captura factores ocultos del entorno.
¿Cuántas tareas se presentan entre la simulación y el mundo real? El artículo presenta siete tareas de simulación y cuatro tareas del mundo real.