RoboDream es un modelo de mundo centrado en el cuerpo generalizable para la síntesis de datos robóticos. Al condicionar la generación de video en prioris explícitos de escena y objetos, nuestro método permite la generación controlable de demostraciones en entornos y objetos arbitrarios sin ajuste fino específico de la tarea. Dos modos prácticos de implementación, recuperación y renacimiento y teleoperación sin utilería, abordan cuellos de botella clave en la recolección de datos del mundo real. Los experimentos muestran que RoboDream mejora consistentemente el rendimiento de las políticas y reduce la carga de la recolección de datos reales.
Extracción de Prioris
Para entrenar a RoboDream, construimos pares de entrenamiento emparejando embeddings de escena, objeto y movimiento a partir de conjuntos de datos robóticos a gran escala existentes. Este pipeline automatizado extrae prioris sin anotación manual.
Identificación de Objetos. Dado el primer fotograma y la instrucción de la tarea, usamos un modelo de lenguaje-visión (GPT-5-nano) para identificar los objetos explícitamente relevantes para la tarea. El modelo devuelve una lista de nombres de objetos (por ejemplo, "vaso rojo", "esponja azul"), filtrando elementos de fondo como mesas o paredes.
Construcción de Priori de Escena. Generamos el priori de escena eliminando los objetos segmentados relevantes para la tarea del primer fotograma. Utilizamos OmniPaint, un modelo de difusión para inpainting, para rellenar los huecos dejados por la eliminación de objetos, obteniendo una imagen de fondo limpia del espacio de trabajo.
Configuración Experimental
Realizamos experimentos en un robot Franka Panda consistente con la plataforma DROID. Cada tarea implica manipulación precisa de objetos. Evaluamos el éxito basándonos en la finalización de la tarea; para tareas de recoger y colocar, consideramos el éxito parcial (por ejemplo, agarre exitoso pero colocación fallida) como medio crédito. Todas las evaluaciones del mundo real se realizan en 20 ejecuciones por política.
Escalamiento con Datos Generados
Estudiamos además las propiedades de escalamiento de nuestro motor de datos. Fijamos el conjunto de datos real en 50 demostraciones y aumentamos progresivamente el número de demostraciones generadas mezcladas. Los datos generados consisten en trayectorias recuperadas de DROID renacidas en nuestro entorno objetivo. La Tabla III reporta las tasas de éxito a medida que los datos generados escalan de 100 a 400 episodios adicionales.
Observamos que agregar datos generados mejora consistentemente el rendimiento con respecto a la línea base Real-50. Las ganancias de rendimiento parecen saturarse aproximadamente en Mix-200. Esto sugiere que, si bien RoboDream proporciona una fuente escalable de datos, la diversidad de las trayectorias recuperadas (de DROID) o la brecha de dominio en la generación eventualmente limitan el beneficio marginal de agregar más muestras. No obstante, la capacidad de mejorar significativamente el rendimiento de la política sin recolectar datos reales adicionales demuestra el poder de nuestro motor de datos.
Generación Composicional
Finalmente, investigamos las capacidades de generalización zero-shot del modelo a través de la generación composicional. RoboDream desacopla efectivamente los componentes de la manipulación, permitiéndonos recombinarlos para generar demostraciones diversas de manera zero-shot.
Limitaciones
RoboDream asume que el video renderizado solo del robot captura fielmente la trayectoria cinemática que el robot debe seguir en la escena objetivo. Si bien la calidad de la generación depende de la cobertura de la distribución de entrenamiento, creemos que esto puede resolverse escalando aún más el entrenamiento con datos extensos, incluidos videos humanos. Al tratar al humano como un cuerpo y basar la generación en el movimiento humano, nuestro marco puede potencialmente aprovechar datos humanos a escala de internet para mejorar la robustez. Además, el modelo hereda las limitaciones de duración temporal y resolución del backbone de difusión de video subyacente. Esperamos que estas limitaciones disminuyan a medida que los modelos base de generación de video continúen mejorando.
Conclusión
Presentamos RoboDream, un modelo de mundo centrado en el cuerpo generalizable para la síntesis de datos robóticos. Al condicionar la generación de video en prioris explícitos de escena y objetos, nuestro método permite la generación controlable de demostraciones en entornos y objetos arbitrarios sin ajuste fino específico de la tarea. Dos modos prácticos de implementación, recuperación y renacimiento y teleoperación sin utilería, abordan cuellos de botella clave en la recolección de datos del mundo real. Los experimentos muestran que RoboDream mejora consistentemente el rendimiento de las políticas y reduce la carga de la recolección de datos reales. Creemos que este trabajo proporciona un camino práctico hacia el aprendizaje por imitación escalable sin necesidad de enormes esfuerzos de teleoperación o configuraciones de simulación específicas de la tarea.
Agradecimientos
Agradecemos a Jiawei Yang, Mingtong Zhang y Weiduo Yuan por sus útiles discusiones, y a Abrar Anwar y Jesse Thomason por su apoyo con el hardware robótico. El Laboratorio de Superinteligencia Física de la USC agradece el generoso apoyo de Toyota Research Institute, Dolby, Google DeepMind, Capital One, Nvidia, Bosch, NSF y Qualcomm. Junjie Ye cuenta con el apoyo de una Beca Capital One. Yue Wang también cuenta con el apoyo de un Premio de Investigación Powell.
Preguntas Frecuentes
¿Cuál es la innovación central de RoboDream? RoboDream es un modelo de mundo centrado en el cuerpo que condiciona la generación de video en prioris explícitos de escena y objetos, permitiendo la síntesis controlable de demostraciones robóticas sin ajuste fino específico de la tarea.
¿Cómo extrae RoboDream los prioris de los datos existentes? Utiliza un modelo de lenguaje-visión (GPT-5-nano) para identificar objetos relevantes para la tarea del primer fotograma, luego emplea OmniPaint para rellenar el fondo, generando un priori de escena limpio.
¿Qué experimentos validaron el rendimiento de RoboDream? El método se probó en cuatro tareas de manipulación del mundo real con un robot Franka Panda, midiendo las tasas de éxito en 20 ejecuciones por política y mostrando ganancias consistentes al mezclar datos generados con demostraciones reales.
¿Cuáles son las principales limitaciones de RoboDream? El modelo asume que el video renderizado solo del robot captura fielmente la trayectoria cinemática, depende de la cobertura de la distribución de entrenamiento y hereda restricciones de duración temporal/resolución del backbone de difusión de video.