ID-WM es un marco jerárquico de modelado del mundo y planificación que desacopla la generación de subobjetivos a largo plazo de la alcanzabilidad local. Al tratar el ruido de difusión como acciones implícitas, restringe el espacio de búsqueda de la planificación a una gaussiana unitaria, lo que permite generar subobjetivos de forma fiable. ID-WM supera a las líneas de base evaluadas y demuestra la generación de subobjetivos basada en visión.
Experimentos
Los experimentos abordan cuatro preguntas:
- Generación de subobjetivos: ¿Puede ID-WM generar de forma fiable estados alcanzables, diversos y viables?
- Generalización: ¿Puede ID-WM resolver tareas de planificación de largo horizonte para alcanzar objetivos arbitrarios, zero-shot, en tiempo de prueba?
- Escalabilidad: ¿Cómo rinde ID-WM en entornos de complejidad creciente?
- Planificación visual: ¿Es eficaz ID-WM para la planificación de largo horizonte directamente a partir de observaciones visuales de alta dimensionalidad?
Entornos
ID-WM se evalúa en tres conjuntos de entornos de navegación y manipulación: Wall, PushT y Maze. Los horizontes de las tareas abarcan desde cientos hasta miles de pasos del entorno.
Wall
Wall es un entorno de navegación 2D sencillo que consta de dos habitaciones separadas por una pared con una puerta. El agente debe desplazarse desde una ubicación inicial aleatoria en un lado de la pared hasta una ubicación aleatoria en el otro, pasando por la puerta. El conjunto de datos consta de 1,920 trayectorias generadas aleatoriamente, cada una de 50 pasos.
Líneas de base
ID-WM se compara con métodos de aprendizaje offline: clonación de comportamiento condicionada por objetivos (GCBC), aprendizaje por refuerzo offline (HIQL), planificadores de difusión (Diffuser y Hierarchical Diffuser) y planificación con un modelo del mundo de un solo nivel y control predictivo basado en modelo (MPC). Los experimentos cualitativos basados en visión también comparan ID-WM con AVDC.
Modelo del mundo y planificación de un solo nivel
Esta línea de base emplea un modelo del mundo plano para realizar planificación de un solo nivel con el método de entropía cruzada (CEM), sin abstracciones jerárquicas.
Clonación de comportamiento condicionada por objetivos
GCBC es un paradigma de aprendizaje por imitación en el que una política asigna directamente el estado actual y una observación del objetivo a la acción experta que conduce hacia ese objetivo. La implementación amplía Diffusion Policy al condicionar la política en un fotograma futuro muestreado aleatoriamente de la trayectoria.
HIQL
HIQL es un método de aprendizaje por refuerzo offline que aprende representaciones jerárquicas combinando una política de alto nivel que trata los subobjetivos como acciones con una política de bajo nivel condicionada por subobjetivos, para tareas de largo horizonte.
Diffuser
Diffuser es un modelo de difusión a nivel de trayectoria que planifica muestreando secuencias completas de estados y acciones. El método vuelve a planificar después de ejecutar cada acción en el entorno.
Hierarchical Diffuser
Hierarchical Diffuser descompone la planificación en dos escalas temporales. Un módulo de alto nivel sintetiza subobjetivos intermedios, que una red de eliminación de ruido de bajo nivel utiliza para generar una trayectoria refinada. Se vuelve a planificar en ambos niveles después de ejecutar cada acción en el entorno.
AVDC
AVDC utiliza un modelo de generación de vídeo para predecir estados futuros y cinemática inversa (IK) para derivar las acciones necesarias. Se emplea para comparar las secuencias de vídeo generadas con los subobjetivos de alto nivel de ID-WM.
HWM
HWM es un modelo jerárquico latente del mundo concurrente que aumenta el salto de fotogramas del modelo de alto nivel y planifica sobre macroacciones aprendidas. La comparación utiliza la variante DINO-WM de HWM. Como la implementación oficial de esta variante no es de código abierto, se volvió a implementar usando los ajustes descritos y DINO-WM para los detalles no especificados.
Generación de estados vecinos con ID-WM
Los experimentos examinan con qué precisión cada nivel de ID-WM captura la distribución de datos subyacente y predice estados futuros en distintas granularidades temporales. Para el modelo del mundo de alto nivel, la evaluación comprueba si el muestreo a partir del prior latente produce estados futuros diversos y alcanzables.
Escalabilidad según la complejidad de la tarea
Los experimentos investigan cómo escala ID-WM al aumentar el tamaño del entorno y el horizonte del objetivo.
Escalabilidad según el horizonte del objetivo
A partir del benchmark de planificación PushT, que evalúa objetivos a 25 pasos, la evaluación aumenta la complejidad muestreando objetivos del conjunto de validación que están a un número no especificado de pasos.
Aumento de datos
- Rotación (30%): Todas las posiciones y el ángulo del bloque T se rotan un ángulo no especificado alrededor del centro de la escena. Las velocidades y las acciones se rotan en consecuencia.
- Desplazamiento + rotación (30%): Se combina un desplazamiento de medio rango con una rotación pequeña no especificada.
Recursos de cómputo
Los modelos del mundo basados en estados se entrenan con entre 1 y 8 GPU NVIDIA H200 Tensor Core. Se utiliza Distributed Data Parallel (DDP) para acelerar el entrenamiento al escalar a 8 GPU. Los modelos de referencia se entrenan hasta converger en una sola GPU NVIDIA H200 Tensor Core, y las evaluaciones de planificación también utilizan una sola GPU NVIDIA H200 Tensor Core.
Para los experimentos basados en visión, se entrena una arquitectura CDiT mediante DDP en un clúster de 32 GPU NVIDIA H200 Tensor Core.
Convergencia del entrenamiento del modelo del mundo de alto nivel
Al comienzo del entrenamiento, las distribuciones predichas están muy dispersas y a menudo no conservan la estructura de la escena PushT. Las primeras muestras no respetan de forma consistente la geometría local del objeto ni el desplazamiento físicamente plausible causado por la interacción entre el agente y el objeto.
A medida que avanza el entrenamiento, las muestras generadas se concentran más en torno a configuraciones futuras coherentes. Aproximadamente entre 200 y 600 pasos de entrenamiento, el modelo empieza a capturar la región aproximada de estados alcanzables para cada horizonte temporal. Los puntos de control posteriores afinan la distribución predicha y, a la vez, conservan una diversidad significativa de muestras.
Conclusión
ID-WM es un marco jerárquico de modelado del mundo y planificación que desacopla la generación de subobjetivos a largo plazo de la alcanzabilidad local. Al tratar el ruido de difusión como acciones implícitas, restringe el espacio de búsqueda de la planificación a una gaussiana unitaria, lo que garantiza una generación fiable de subobjetivos. ID-WM supera a las líneas de base de última generación evaluadas y demuestra una generación de subobjetivos visuales de alta calidad. Fundamentar la abstracción jerárquica en dinámicas locales explícitas supone un paso hacia una toma de decisiones robusta y de largo horizonte.
Limitaciones
La optimización de ID-WM basada en búsqueda en un espacio latente de difusión implica tiempos de inferencia mayores que los de las políticas reactivas o los modelos deterministas del mundo. En trabajos futuros se explorará la planificación amortizada o basada en gradientes para abordar este cuello de botella.
Aunque la jerarquía evita que la complejidad de la planificación aumente con la longitud de la trayectoria, esta sigue escalando con la dimensionalidad del espacio de estados. Integrar un aprendizaje de representaciones compacto y estructurado podría agilizar aún más la planificación en entornos muy complejos.
Agradecimientos y declaración de financiación
Los autores agradecen a Amir Bar, Alfredo Canziani, Yilun Kuang, Hengkai Pan, Mike Rabbat, Ying Wang y Wancong Zhang sus valiosos debates y comentarios.
Este trabajo recibió financiación de AFOSR mediante la subvención FA95502310139 y del Institute of Information & Communications Technology Planning & Evaluation (IITP), a través de una subvención financiada por el Ministry of Science and ICT (MSIT) de la República de Corea en el marco del Global AI Frontier Lab International Collaborative Research Agreement (No. RS-2024-00469482 & RS-2024-00509279).
Preguntas frecuentes
¿Para qué está diseñado ID-WM? Combina el modelado jerárquico del mundo y la planificación, separando la generación de subobjetivos a largo plazo de la alcanzabilidad local.
¿Cómo restringe ID-WM su espacio de búsqueda de planificación? Trata el ruido de difusión como acciones implícitas, restringiendo el espacio de búsqueda a una gaussiana unitaria.
¿Qué entornos se utilizan en la evaluación? La evaluación utiliza los entornos de navegación y manipulación Wall, PushT y Maze.
¿Cuáles son las limitaciones señaladas de ID-WM? La optimización basada en búsqueda aumenta el tiempo de inferencia y la complejidad de la planificación sigue escalando con la dimensionalidad del espacio de estados.