Una vez entrenado con supervisión conjunta, el modelo genera secuencias de Cadena de Dinámicas (CoD) y predice estados visuales futuros condicionados por ellas. Sin embargo, predecir únicamente con CoD bajo teacher forcing no entrena al modelo de visión y lenguaje (VLM) para planificar las dinámicas intermedias necesarias para alcanzar un estado futuro deseado. Por eso, ThinkWorld recompensa las CoD muestreadas según la concordancia entre los futuros que imaginan y los observados, lo que anima al VLM a razonar sobre los cambios del mundo que implican sus CoD. Como esta recompensa solo requiere transiciones observadas, permite al VLM explorar CoD alternativas y aprender de vídeos humanos y robóticos sin etiquetas de acciones ni ejecución de movimientos candidatos.
Ampliar el razonamiento de Cadena de Dinámicas mediante la imaginación del mundo
Diseño de la recompensa mediante la imaginación del mundo
Para cada CoD candidata, ThinkWorld predice su representación visual futura y la compara con el futuro observado en el espacio latente. La recompensa utiliza una puntuación de similitud de características mejorada con movimiento, que da más peso a la concordancia de características DINO en los parches con mayores cambios entre los fotogramas actual y futuro.
La puntuación mantiene una contribución uniforme de toda la escena para preservar la coherencia global y evitar que las regiones de fondo redundantes dominen la recompensa. La ponderación por movimiento solo utiliza fotogramas observados, por lo que la puntuación no requiere anotaciones de acciones.
Optimización del razonamiento de CoD con aprendizaje por refuerzo basado en la imaginación del mundo
ThinkWorld busca aprender CoD que capten las dinámicas intermedias que conducen de la escena actual a un estado futuro deseado. Para entrenar este proceso de razonamiento, muestrea CoD alternativas a partir del mismo contexto visual y recompensa aquellas cuyos futuros imaginados coinciden mejor con el futuro observado. Estas recompensas permiten a ThinkWorld explorar CoD alternativas que podrían conducir de la escena actual al futuro observado, y así usar vídeos humanos y robóticos pasivos para guiar el razonamiento de acciones sin etiquetas de acciones ni ejecución en línea de movimientos candidatos.
El VLM se actualiza con Group Relative Policy Optimization (GRPO) mediante recompensas normalizadas de imaginación del mundo, mientras que la repetición supervisada conserva el anclaje al movimiento aprendido durante el ajuste fino supervisado (SFT).
Al comparar futuros imaginados y observados, esta etapa anima al VLM a codificar dinámicas relevantes para la acción en las representaciones que luego se utilizan para el control continuo. Durante el aprendizaje por refuerzo, todos los demás componentes permanecen congelados, y ni la generación de CoD ni la predicción futura son necesarias durante el despliegue. En el Apéndice A.6 se ofrecen todos los detalles de optimización.
Detalles de implementación
Configuración experimental con robots reales
La evaluación con robots reales utiliza un sistema YAM bimanual equipado con tres cámaras: una cámara global con vista cenital y una cámara con vista desde la muñeca en cada brazo. Para el entrenamiento y la inferencia solo se utilizan observaciones RGB. A continuación, el modelo ThinkWorld-YAM adaptado al robot se utiliza como punto de partida para un ajuste fino eficiente y específico de cada tarea. El apéndice incluye detalles adicionales de implementación y entrenamiento.
Generalización en el mundo real ante cambios de distribución
La generalización en el mundo real se evalúa en condiciones emparejadas dentro de distribución (ID) y fuera de distribución (OOD) en tres tareas de manipulación: colocar tazas en un colgador, emparejar colores y clasificar objetos. Las condiciones OOD introducen cambios en el color o la categoría de los objetos y, en algunos casos, requieren trayectorias no observadas durante el entrenamiento específico de la tarea.
Para cada tarea, se recopilan demostraciones con al menos seis configuraciones de objetos y se evalúan varias condiciones tanto ID como OOD, con cinco ensayos por condición. Estas tareas requieren que la política identifique atributos de los objetos relevantes para la tarea, como el color y la categoría, y adapte el movimiento en consecuencia.
Conclusión
ThinkWorld es un marco de aprendizaje de visión, lenguaje y acción (VLA) que aprende Cadenas de Dinámicas transferibles mediante aprendizaje por refuerzo con imaginación del mundo. Al fundamentar los razonamientos sobre acciones en los cambios del mundo que provocan, ThinkWorld aprende una representación común para robots y personas y extiende el razonamiento de acciones a vídeos sin anotaciones explícitas de acciones.
Los experimentos demuestran una transferencia eficaz de personas a robots y una sólida generalización a tareas y entornos no vistos, lo que valida la eficacia de aprender razonamiento de acciones transferible a partir de dinámicas observadas del mundo y su potencial para ampliar el aprendizaje robótico con experiencias diversas de personas y robots.
Configuración del modelo
Las acciones continuas las produce un experto en acciones inicializado a partir de MolmoAct2. El experto contiene 36 bloques Transformer no causales con un ancho oculto de 768 y opera en FP32. Admite un tamaño máximo del tensor de acciones; una máscara de validez bidimensional restringe cada ejemplo al horizonte y los canales de acción nativos de su conjunto de datos.
El experto recibe características de clave/valor de Qwen, capa por capa, únicamente de los tokens de entrada; los tokens CoD generados y los tokens de consulta futura no forman parte de su contexto directo.
Configuración de entrada y salida
Todos los elementos multimedia preceden a los metadatos textuales en un único turno de usuario. Cuando hay contexto temporal, el orden es: historial de la vista principal, vista principal actual y las demás vistas actuales en el orden definido por el conjunto de datos. El historial contiene como máximo 16 fotogramas de la vista principal, muestreados a 2 Hz y ordenados del más antiguo al más reciente. La imagen principal actual no se repite en el historial.
La plantilla completa de entrada y salida VLA se muestra en el artículo. Las líneas entre corchetes son opcionales, y la parte textual se representa como una sola cadena normalizada en lugar de líneas separadas.
Configuración con robots reales
El sistema robótico BimanualYAM se utiliza para recopilar el conjunto de datos del laboratorio y evaluar las políticas entrenadas. Consta de dos brazos YAM y tres cámaras RealSense D405: una que proporciona una vista cenital y otra montada en cada muñeca. Las políticas solo utilizan observaciones RGB.
La inferencia de políticas se ejecuta en una sola NVIDIA RTX 3090. Para tener en cuenta las diferencias en la latencia de inferencia, cada política recibe consultas y ejecuta sus acciones a la misma frecuencia de control de 15 Hz, mientras que los demás componentes del sistema funcionan a 30 Hz. Para cada bloque de acciones predicho, se ejecuta la primera mitad y, a continuación, la política vuelve a planificar usando la observación más reciente.
Análisis adicional de PCA y atención
Las visualizaciones cualitativas adicionales amplían el análisis del texto principal. Las visualizaciones de PCA y atención de las representaciones futuras utilizan las capas 24–27 de Qwen. El PCA y la atención son análisis descriptivos y no se utilizan como evidencia causal.
La visualización ampliada del PCA de las representaciones de predicción futura compara cinco condiciones de CoD: la CoD original, una CoD barajada, una CoD vacía, una CoD donante de otro episodio y ninguna CoD. La comparación ilustra cómo varían las representaciones futuras predichas según el condicionamiento de CoD.
Los mapas ampliados de atención de CoD a las observaciones de entrada también muestran la atención de los tokens de predicción futura a la observación de entrada. La atención de CoD tiende a concentrarse en regiones dinámicas y relevantes para la tarea, mientras que la atención de predicción futura se distribuye de manera más amplia por la escena. Este patrón sugiere que CoD enfatiza cambios localizados relevantes para la acción, mientras que la predicción futura incorpora un contexto más amplio de la escena.
Eficiencia de inferencia
La latencia de la política en régimen estable con batch 1 se midió con la captura de gráficos CUDA desactivada, usando inferencia eager sin configuración de gráficos de forma estática. Todos los modelos se midieron en la misma GPU NVIDIA H100 80GB, con cinco llamadas de calentamiento seguidas de 50 llamadas cronometradas y sincronizadas con CUDA. Cada modelo utiliza su contrato de entrada nativo para el despliegue, por lo que las mediciones reflejan la latencia práctica de la política y no una ablación arquitectónica con entradas idénticas.
ThinkWorld utiliza el proceso de razonamiento únicamente durante el entrenamiento, donde anima al VLM a aprender representaciones más centradas en la acción. La política desplegada no ejecuta este proceso durante la inferencia, por lo que cada llamada a la política evita el cómputo adicional que requeriría. Esta separación explica cómo el razonamiento durante el entrenamiento puede contribuir a un sólido rendimiento en las tareas y, al mismo tiempo, mantener una latencia de inferencia baja.
Preguntas frecuentes
¿Qué aprende ThinkWorld mediante la imaginación del mundo? Aprende Cadenas de Dinámicas transferibles que representan las dinámicas intermedias que conducen de una escena actual a un estado futuro deseado.
¿Necesita ThinkWorld etiquetas de acciones para aprender de vídeos? No. Su recompensa de imaginación del mundo compara futuros imaginados y observados, lo que permite aprender de vídeos humanos y robóticos sin anotaciones de acciones.
¿Qué sistema robótico se utiliza para la evaluación en el mundo real? La evaluación utiliza un sistema YAM bimanual con dos brazos y tres cámaras RealSense D405.
¿La política desplegada ejecuta el proceso de razonamiento mediante imaginación del mundo? No. El proceso de razonamiento se utiliza durante el entrenamiento, pero ni la generación de CoD ni la predicción futura son necesarias durante el despliegue.