Entrenado con vídeos heterogéneos de personas y robots, DreamX alcanza resultados de vanguardia entre los modelos de acciones latentes en LARYBench y permite transferencias de vídeo de cualquier origen a cualquier destino, así como la transferencia de acciones de personas a robots, sin datos de entrenamiento emparejados. Como aplicación posterior, las acciones latentes aprendidas pueden servir como objetivos de predicción para una política robótica condicionada por observaciones, sin necesidad de generar vídeos futuros durante la ejecución. En conjunto, estos resultados sugieren que DreamX aprende un espacio compartido y transferible de acciones latentes, que permite transferir movimiento entre distintas encarnaciones y también puede servir de base para el aprendizaje de políticas posteriores.
Introducción
En resumen, las contribuciones son las siguientes:
- DreamX es un marco que utiliza los priors espaciotemporales y generativos de un modelo de difusión de vídeo preentrenado para aprender acciones latentes universales. Las representaciones resultantes alcanzan resultados de vanguardia entre los modelos de acciones latentes en LARYBench.
- El espacio latente aprendido permite transferencias de vídeo de cualquier origen a cualquier destino y la transferencia de acciones de personas a robots, sin datos de entrenamiento emparejados entre origen y destino. Los códigos compactos de acciones latentes también pueden servir como objetivos de predicción para el aprendizaje de políticas posteriores.
Fundamentos: modelos de difusión de vídeo
El modelo predice la velocidad del flujo.
Al optimizar este objetivo con grandes conjuntos de datos de vídeo, el modelo adquiere un prior generativo sobre la apariencia de las escenas y sus dinámicas plausibles. Cuando el fotograma inicial proporciona la apariencia de la escena, el condicionamiento adicional guía su evolución. DreamX aprovecha esta propiedad para guiar la reconstrucción de fotogramas futuros mediante acciones latentes; el objetivo de reconstrucción supervisa lo que codifican las acciones latentes.
Aprendizaje de acciones latentes universales a partir de priors de difusión de vídeo
DreamX adapta una arquitectura base de difusión de vídeo preentrenada para dos funciones complementarias: codificar las dinámicas observadas en acciones latentes y supervisarlas mediante la reconstrucción de fotogramas futuros, con el fin de favorecer la separación del movimiento y la apariencia visual. Las consultas entrenables extraen las representaciones de vídeo para resumir las dinámicas observadas como acciones latentes, mientras que el decodificador reconstruye el futuro a partir de estas acciones latentes y del fotograma inicial. El uso de una arquitectura base de difusión de vídeo tanto para el codificador como para el decodificador permite que su prior generativo tenga en cuenta la apariencia visual y fomenta que los tokens de acción latente se centren en el movimiento.
Transferencia de vídeo
DreamX se evalúa transfiriendo el movimiento de origen entre escenas y encarnaciones, a la vez que preserva la apariencia especificada por un fotograma inicial de destino. La evaluación examina la transferencia de vídeo de cualquier origen a cualquier destino y evalúa cuantitativamente la transferencia zero-shot de personas a robots.
Se muestra la transferencia de movimiento entre entornos para un mismo robot, entre distintas encarnaciones robóticas y de personas a robots, con un ejemplo de DAVIS que va más allá de la manipulación. DreamX reproduce el movimiento de origen y preserva la escena y la encarnación de destino. Estos resultados respaldan la universalidad de las acciones latentes aprendidas entre encarnaciones y entornos, y muestran que también se extienden a vídeos de dominios generales.
Conclusión
DreamX aprovecha los priors de difusión de vídeo preentrenados para aprender acciones latentes universales. Sus representaciones espaciotemporales proporcionan dinámicas relevantes para la acción, mientras que su prior generativo supervisa el aprendizaje de acciones latentes mediante la reconstrucción de fotogramas futuros. DreamX alcanza resultados de vanguardia entre los modelos de acciones latentes en LARYBench y permite transferencias de vídeo de cualquier origen a cualquier destino, así como la transferencia de acciones de personas a robots, sin datos de entrenamiento emparejados. Predecir estas acciones latentes compactas también permite un aprendizaje eficaz y eficiente de políticas a partir de demostraciones humanas y robóticas. En conjunto, estos resultados destacan los modelos de vídeo preentrenados como base para aprender representaciones de acciones reutilizables entre encarnaciones.
Declaración sobre el uso de IA
Las herramientas de IA generativa ayudaron a redactar y editar el manuscrito para mejorar su claridad y legibilidad, a editar código durante la implementación y a debatir durante el proceso de investigación. Los autores formularon y evaluaron las ideas de investigación, las decisiones metodológicas, los diseños experimentales y la interpretación de los resultados, y tomaron las decisiones finales al respecto. Los autores revisaron todo el texto y el código asistidos por IA, y comprobaron la corrección de los cambios en el código. Los autores asumen la responsabilidad del contenido final de este trabajo, incluidos el texto, las afirmaciones, el código y los artefactos producidos con ayuda de IA generativa.
Declaración ética
Todos los conjuntos de datos utilizados en este trabajo son de acceso público, incluidos los conjuntos de datos de vídeos egocéntricos de personas y de demostraciones robóticas enumerados en el apéndice. Los vídeos de personas pueden contener personas o entornos identificables, por lo que todo ejemplo redistribuido debe cumplir las condiciones de uso y los requisitos de privacidad de los conjuntos de datos de origen. Los resultados de la transferencia de vídeo son sintéticos y deben identificarse como tales. La transferencia entre encarnaciones y las políticas robóticas pueden fallar fuera de los entornos evaluados y requieren una validación de seguridad antes de su implementación.
Configuración del robot en el mundo real
Tanto los experimentos de transferencia de acciones como los de políticas utilizan un robot bímano YAM. El espacio de acción consta de comandos absolutos de 14 dimensiones, compuestos por seis posiciones articulares y un comando de pinza por brazo. Una cámara Intel RealSense D405 montada en posición cenital proporciona las observaciones.
Detalles de la transferencia de acciones
Las acciones latentes se extraen de demostraciones humanas con el codificador DreamX congelado y se decodifican en comandos para el robot. La trayectoria resultante se ejecuta en lazo abierto, sin retroalimentación visual, condicionada por las acciones latentes humanas y el estado propioceptivo inicial del robot.
Detalles de la evaluación de políticas
Se evalúan tres configuraciones de cierre de cajones: solo el cajón superior abierto, solo el cajón inferior abierto y ambos cajones abiertos. En todas las configuraciones se utiliza la instrucción “cierra el cajón”. Cuando ambos cajones están abiertos, el robot debe cerrar el superior antes que el inferior. Una cámara RGB fija con vista cenital observa el espacio de trabajo.
Detalles de la evaluación en LARYBench
Todos los modelos de representación están congelados y se entrena una sonda atencional común para la regresión y clasificación de acciones. Cada token de entrada se proyecta a 768 dimensiones mediante una capa lineal, normalización de capas y GELU. Para las representaciones que abarcan varias transiciones, las incrustaciones temporales entrenables identifican las posiciones de las transiciones antes de aplanar las dimensiones temporal y de tokens. Un agregador atencional de consultas entrenables combina los tokens en una única característica para la cabeza de regresión o clasificación.
Detalles de la transferencia zero-shot de personas a robots
La evaluación utiliza 1,008 clips de 21 tareas de HumanAndRobot, seleccionando 48 clips por tarea. Cada método recibe un vídeo de origen humano y el fotograma inicial de su grabación robótica emparejada. Los fotogramas robóticos restantes se utilizan únicamente como referencias de evaluación; no se usan datos emparejados de personas y robots para el entrenamiento. DreamX se compara con AdaWorld y VideoWorld 2 usando sus horizontes de generación nativos.
Para utilizar un horizonte de evaluación común, se conservan los primeros 20 fotogramas de cada resultado y se excluye el fotograma de condicionamiento, con lo que se obtienen 19 fotogramas generados por clip. Las métricas reportadas son FVD, calculada con una red I3D preentrenada en Kinetics-400; LPIPS basada en VGG; PSNR; y SSIM, comparadas con los vídeos de referencia robóticos correspondientes.
Evaluación de políticas
Los resultados de éxito al alcanzar y empujar se reportan por separado. El promedio de cada par da las tasas de éxito por configuración: 50.0% para Mimic-Video en todas las configuraciones, y 90.0%, 100.0% y 100.0% para DreamX.
Análisis de las representaciones
El análisis examina si las acciones latentes presentan una estructura direccional común entre distintas encarnaciones robóticas, usando 2,362 clips de RoboCOIN que abarcan diez tipos de robots y seis direcciones de traslación del efector final.
Una visualización t-SNE de 60 centroides de acciones latentes condicionados por dirección muestra que los centroides de una misma dirección presentan una organización similar entre los distintos tipos de robots. Este análisis agregado respalda la existencia de una estructura direccional compartida entre encarnaciones.
Transferencia de vídeo de cualquier origen a cualquier destino
Otros ejemplos de transferencia de vídeo de cualquier origen a cualquier destino abarcan distintas encarnaciones y entornos, y complementan los ejemplos del artículo principal.
Transferencia de acciones de personas a robots
Otros ejemplos de transferencia de acciones de personas a robots abarcan la escritura y la manipulación con un solo brazo. La configuración experimental se describe en los detalles de la transferencia de acciones.
Ejecuciones de políticas
Las ejecuciones ilustrativas de cierre de cajones en el mundo real abarcan las configuraciones con solo el cajón superior abierto, solo el inferior abierto y ambos abiertos.
Atención de consultas al vídeo
Otras visualizaciones de la atención de consultas al vídeo abarcan secuencias de demostraciones humanas y robóticas. La atención de consultas al vídeo se promedia entre todas las cabezas, las cuatro posiciones de consulta dentro de cada grupo temporal y los siete bloques finales del transformador.
Preguntas frecuentes
¿Qué aprende DreamX a partir del vídeo? DreamX aprende acciones latentes universales que representan el movimiento y pueden transferirse entre escenas y encarnaciones.
¿La transferencia de personas a robots requiere datos de entrenamiento emparejados? No. DreamX permite transferir acciones de personas a robots sin datos de entrenamiento emparejados entre origen y destino.
¿Cómo se utilizan las acciones latentes de DreamX en las políticas robóticas? Sirven como objetivos de predicción para una política robótica condicionada por observaciones, sin necesidad de generar vídeos futuros durante la ejecución.
¿Qué configuración robótica se utiliza en los experimentos en el mundo real? Los experimentos utilizan un robot bímano YAM con comandos de acción absolutos de 14 dimensiones y una cámara Intel RealSense D405 con vista cenital.