Formulación del problema
Al modelar de forma autorregresiva la predicción futura condicionada por secuencias de acciones, el modelo de mundo predice observaciones futuras a partir de secuencias de acciones y permite la interacción en bucle cerrado tanto con operadores humanos como con políticas posteriores.
Modelado del mundo con acciones visuales
A continuación, definimos el modelo de mundo como un modelo que predice observaciones futuras a partir de secuencias de acciones visuales y del contexto histórico.
El condicionamiento mediante secuencias de acciones visuales permite al sistema aprender interacciones con la escena impulsadas directamente por el movimiento del cuerpo robótico.
Interacción eficiente en bucle cerrado
Para permitir la interacción en bucle cerrado con operadores humanos y políticas posteriores, el modelo de mundo predice la siguiente observación en respuesta a las acciones de entrada y realimenta autorregresivamente las observaciones generadas como contexto histórico para las ejecuciones posteriores.
Siguiendo el enfoque descrito, almacenamos en caché los pares clave-valor de los tokens anteriores como contexto histórico, mientras aplicamos autoatención completa dentro del bloque de tokens recién generado en cada predicción.
Experimentos
En esta sección, diseñamos experimentos exhaustivos para evaluar GeniWorld y responder a las siguientes preguntas:
Fidelidad generativa y generalización
¿Puede GeniWorld generar predicciones de vídeo de alta fidelidad y generalizar eficazmente a escenarios diversos y no observados?
Fiabilidad en la evaluación de políticas
¿Puede GeniWorld evaluar de forma fiable las políticas posteriores y mantener una sólida correlación con el rendimiento en el mundo real ante perturbaciones de la escena y en configuraciones fuera de distribución?
Síntesis de datos para mejorar las políticas
¿Puede GeniWorld sintetizar datos de entrenamiento eficaces a partir de un número limitado de trayectorias registradas para mejorar el aprendizaje y el rendimiento de las políticas sin asumir el coste de construir nuevas configuraciones en el mundo real?
Configuración de la plataforma en el mundo real
Construimos nuestra plataforma experimental con un sistema robótico Xtrainer de dos brazos. Tras realizar la calibración mano-ojo, integramos el URDF del robot en Isaac Sim para controlar el movimiento y reproducimos la configuración física de las cámaras con el fin de renderizar observaciones visualmente coherentes.
Diseñamos cuatro tareas representativas de manipulación que implican objetos diversos y dinámicas físicas complejas:
- Move Bowl
- Fold Towel
- Place Mug
- Open Drawer
Las demostraciones se recopilan mediante el sistema de teleoperación Xtrainer. Durante la recopilación de los datos de entrenamiento, mantenemos un entorno despejado sobre la mesa y aleatorizamos únicamente las poses de los objetos manipulados entre episodios.
Modelo de mundo para evaluar políticas
Investigamos si GeniWorld puede actuar como un evaluador offline eficaz para políticas posteriores. Al ejecutar los mismos checkpoints de política tanto en GeniWorld como en configuraciones del mundo real, medimos cuantitativamente la correlación entre las ejecuciones simuladas y las tasas de éxito de las tareas físicas.
Las políticas se ajustan a partir de un modelo de visión, lenguaje y acción utilizando las demostraciones recopiladas en el mundo real. En cada prueba, la política se inicializa con la misma observación visual del primer fotograma en GeniWorld y en el entorno real.
Evaluadores humanos determinan el éxito binario de la tarea, mientras que un modelo de visión y lenguaje actúa como juez automatizado de la plausibilidad de la manipulación.
Síntesis de datos para mejorar las políticas
A continuación, analizamos si GeniWorld puede aprovechar demostraciones limitadas de una distribución restringida para sintetizar datos diversos de manipulación y, de este modo, mejorar el rendimiento y la generalización de las políticas en condiciones complejas.
Conclusión
En este trabajo presentamos GeniWorld, un modelo de mundo interactivo y generalizable, condicionado por acciones visuales, que permite la interacción robótica espacialmente fundamentada y en bucle cerrado.
A pesar de entrenarse con demostraciones limitadas en escenas fijas, GeniWorld logra un sólido rendimiento dentro de distribución y una generalización fiable de cero disparos a escenarios no observados. Permite evaluar políticas de forma robusta y genera trayectorias sintéticas escalables y muy diversas que mejoran el rendimiento de las políticas posteriores.
Estos resultados ponen de relieve el gran potencial de los modelos de mundo generalizables para proporcionar espacios de imaginación escalables destinados al aprendizaje robótico incorporado.
Preguntas frecuentes
¿Qué es GeniWorld? GeniWorld es un modelo de mundo interactivo y generalizable, condicionado por acciones visuales, para la interacción robótica espacialmente fundamentada y en bucle cerrado.
¿Qué plataforma robótica se utiliza en los experimentos? Los experimentos utilizan un sistema robótico Xtrainer de dos brazos, cuyo URDF se integra en Isaac Sim después de la calibración mano-ojo.
¿Qué tareas de manipulación se evalúan? Las tareas evaluadas son Move Bowl, Fold Towel, Place Mug y Open Drawer.
¿Cómo se utiliza GeniWorld para mejorar las políticas? GeniWorld sintetiza datos diversos de manipulación a partir de demostraciones limitadas para mejorar el aprendizaje y la generalización de las políticas.