El proceso de curación convierte cuatro fuentes de experiencia en ejemplos de vídeo y lenguaje listos para el entrenamiento. Incluye controles de calidad, registros de vídeo estandarizados, segmentación de vídeos largos en subtareas cuando corresponde y descripciones en varios niveles antes de combinar los datos resultantes para el preentrenamiento.
Alineación lenguaje–vídeo
Vídeos generales
Utilizamos OpenVid y Panda70M, con un total de 10,909.6 horas. Estos conjuntos de datos de generación de vídeo de código abierto contienen vídeos y descripciones textuales que abarcan escenas, objetos y dinámicas visuales diversos. Conservamos sus vídeos y descripciones originales para aportar experiencia de lenguaje y vídeo más allá de las demostraciones de manipulación.
Vídeos egocéntricos
Utilizamos Ego4D, EgoVerse y EgoSuite, con un total de 371,212 trayectorias y 10,986.3 horas. Ego4D registra principalmente actividades cotidianas en entornos de la vida real. EgoVerse abarca escenas más diversas y añade experiencia visual egocéntrica en distintos entornos. EgoSuite es actualmente el mayor conjunto de datos de vídeo de manipulación egocéntrica de código abierto. Conservamos los vídeos y las descripciones lingüísticas de estas fuentes.
Preparación de datos
Empaquetamos todas las fuentes en formato LeRobot 2.1. Conservamos únicamente las muestras cuyos vídeos, descripciones lingüísticas y metadatos pueden vincularse entre sí. Excluimos las muestras con vídeo, lenguaje o metadatos sin asociar; los vídeos con errores de codificación o decodificación; y las muestras de baja calidad conocidas. Los registros de vídeo conservan sus descripciones lingüísticas y metadatos correspondientes. El inventario cuenta los episodios y vídeos registrados según sus duraciones de origen.
Filtrado del contenido visual
Para conjuntos de datos de vídeo general como OpenVid y Panda70M, utilizamos anotaciones originales y una revisión de contenido basada en VLM para eliminar animaciones, escenas estáticas, programas de televisión y otros contenidos inadecuados. En los vídeos egocéntricos, usamos un VLM para evaluar el desenfoque por movimiento, el brillo, la oclusión y si un clip contiene acciones significativas, con lo que reducimos el impacto de las imágenes de baja calidad y los comportamientos poco informativos en el entrenamiento. Las demostraciones de UMI y de robots que se describen a continuación siguen reglas de filtrado similares.
Adaptación del modelo de vídeo con vídeos generales
Nuestro WAM modifica el diseño de modelado de vídeo de Wan para admitir el control robótico, lo que puede alterar los conocimientos previos visuales y de dinámica adquiridos durante el preentrenamiento. Para facilitar esta adaptación, primero entrenamos la rama de vídeo con vídeos generales, cuya distribución es similar a la de los datos de preentrenamiento de Wan. En esta etapa, utilizamos el mismo número de fotogramas de entrada, la misma resolución espacial y el mismo esquema de atención causal que en el entrenamiento posterior del WAM. Esta etapa busca preservar estos conocimientos previos durante la adaptación, antes de introducir datos de interacción física.
Alineación lenguaje–vídeo–acción
Las demostraciones de UMI y de robots siguen los procedimientos de curación y filtrado de vídeo descritos anteriormente, y utilizan las anotaciones lingüísticas descritas en la sección previa. A partir de estas correspondencias entre lenguaje y vídeo, alineamos segmentos de vídeo con registros de estado y acción para construir supervisión de lenguaje, vídeo y acción. A continuación, describimos la recopilación y curación de estas demostraciones.
Durante la recopilación, las vistas de la cabeza y de ambas muñecas registran, respectivamente, la escena general de manipulación y los detalles de interacción local. El seguimiento visual-inercial con smartphone proporciona trayectorias de acción, mientras que codificadores externos registran la apertura y el cierre de la pinza. Un sistema de coordenadas y una referencia temporal compartidos establecen correspondencias espaciales y temporales entre los vídeos de ambas manos, las trayectorias de movimiento y los estados de la pinza.
El procedimiento de recopilación incluye comprobaciones del equipo y verificación de la sincronización antes de grabar; comprobaciones de la estabilidad del seguimiento y la viabilidad cinemática durante la grabación; y reproducción de vídeo y de trayectorias de RA después. Estas comprobaciones detectan anomalías como la deriva de localización y los saltos en las trayectorias, y verifican que las tareas se completen.
Representación de estado y acción
Las demostraciones de UMI y de robots utilizan una representación compartida de 16 dimensiones del efector final bimanual. Cada mano tiene una posición tridimensional, un cuaternión de rotación de cuatro dimensiones en orden wxyz y un valor unidimensional de la pinza. Los registros de estado y acción se asocian con sus segmentos de vídeo correspondientes. Cada fuente se normaliza utilizando sus propias estadísticas q1 y q99.
Calidad de las trayectorias
Para nuestras demostraciones de UMI recopiladas internamente, construimos máscaras de supervisión de acciones a partir de las anotaciones de validez de estado y acción proporcionadas por el flujo de recopilación. Los vídeos se utilizan para el aprendizaje con vídeo, mientras que las etiquetas de acción válidas también proporcionan supervisión de acciones y las etiquetas no válidas se enmascaran.
Para las demostraciones robóticas recopiladas, primero comprobamos las dimensiones de las acciones, los valores faltantes, los NaN, los valores no finitos y la validez de los cuaterniones. En los subconjuntos que incluyen los campos requeridos de estado articular y del efector final, también excluimos las trayectorias con ángulos articulares anómalos, cambios excesivos en los ángulos articulares o las poses del efector final entre fotogramas adyacentes, o ausencia de movimiento a lo largo de toda la trayectoria. Las trayectorias que superan estos controles de calidad se utilizan para el entrenamiento de acciones.
Experimentos
Nuestro objetivo es utilizar experiencia de múltiples fuentes para preservar las capacidades de lenguaje y vídeo adquiridas durante el preentrenamiento de vídeo y ampliarlas al control robótico generalizable. Nuestros experimentos examinan cómo afectan a la generalización posterior la alineación de lenguaje y vídeo, la alineación de lenguaje, vídeo y acción, el entrenamiento conjunto y la escala del preentrenamiento. Organizamos el estudio en torno a las siguientes cuatro preguntas:
- ¿Cómo se puede establecer una alineación eficaz entre modalidades?
- ¿Cómo se puede integrar la experiencia de múltiples fuentes?
- ¿El escalado del preentrenamiento mejora la generalización del control?
- ¿Qué tan bien se desempeña nuestro modelo en entornos no vistos?
Configuración experimental
Preentrenamos el modelo utilizando la arquitectura y el corpus de múltiples fuentes presentados anteriormente. La rama de vídeo se inicializa a partir de Wan2.2-TI2V-5B, y la rama de acción se inicializa aleatoriamente. Todos los parámetros del modelo se actualizan durante el entrenamiento. Tanto el preentrenamiento como el posentrenamiento utilizan el objetivo conjunto de vídeo y acción definido anteriormente. Utilizamos AdamW con una tasa de aprendizaje inicial cuyo valor se representa mediante una fórmula en el texto original y un tamaño de lote global predeterminado de 256. Los pasos de entrenamiento y la configuración específica de cada estudio se indican en las descripciones de los experimentos y los pies de tabla correspondientes.
Discusión y conclusión
Estudiamos cómo ampliar las capacidades preentrenadas de lenguaje y vídeo al control robótico generalizable utilizando experiencia de múltiples fuentes. Con aproximadamente 47,000 horas de experiencia, investigamos sistemáticamente la alineación de lenguaje y vídeo, la alineación de lenguaje, vídeo y acción, y su aprendizaje conjunto.
Observamos que las descripciones lingüísticas detalladas y precisas preservan las capacidades preentrenadas de lenguaje y vídeo. Además, la supervisión de acciones a partir de demostraciones de UMI contribuye al control robótico, lo que demuestra el valor de la experiencia humana en manipulación para el aprendizaje robótico. Nuestros hallazgos muestran la importancia de organizar la experiencia y utilizar la supervisión. La receta de entrenamiento resultante demuestra generalización a condiciones no vistas en evaluaciones simuladas y del mundo real, con mejoras adicionales gracias a la continuación del preentrenamiento. Publicamos los datos, el código y los pesos del modelo para apoyar futuras investigaciones.
Basado en el modelo de vídeo preentrenado, el método propuesto ofrece un apoyo limitado para el razonamiento complejo y la planificación explícita en varias etapas, pese a superar a los modelos VLA en nuestras evaluaciones de generalización del control. El contexto limitado de observaciones previas también puede dificultar la ejecución de tareas de largo alcance. En el futuro, planeamos explorar mecanismos de memoria y planificación jerárquica para abordar tareas que requieran razonar a partir de observaciones pasadas y planificar acciones posteriores.
Agradecimientos
Agradecemos a Zijun Xu sus contribuciones a las primeras etapas de exploración de este trabajo. También agradecemos a Yutong Dong sus esfuerzos en el despliegue en el mundo real.
Configuración común
El preentrenamiento y el posentrenamiento comparten la configuración de optimización especificada en la tabla citada en el artículo. Los tamaños de lote, los pasos de entrenamiento y los calendarios de tasa de aprendizaje varían entre las etapas de entrenamiento, tal como se detalla en la sección de configuraciones de entrenamiento citada.
Configuraciones de entrenamiento
En el preentrenamiento, inicializamos el DiT de vídeo a partir de Wan2.2-TI2V-5B y cargamos su codificador de texto UMT5-XXL preentrenado y el VAE de vídeo de Wan2.2. La rama de acción, incluidos los codificadores de acción y estado, los bloques del transformador y el decodificador de acción, se inicializa aleatoriamente. Para cada experimento, el posentrenamiento parte de los pesos preentrenados correspondientes.
Preparación de datos para el posentrenamiento
Adaptamos modelos por separado para apilar tazas, doblar toallas y meter regalos en cajas, utilizando datos específicos de cada tarea para el posentrenamiento, después del preentrenamiento de propósito general con vídeos egocéntricos y demostraciones de UMI. La tabla citada en el artículo resume los datos de posentrenamiento de cada tarea.
Protocolos y métricas de evaluación
Evaluamos en las configuraciones Easy (C2C) y Hard (C2R). Las configuraciones Easy mantienen las condiciones de escena y los objetos físicos utilizados en el posentrenamiento, incluidas sus formas y colores, y varían sus configuraciones iniciales entre distintas disposiciones. Las configuraciones Hard varían los atributos de la escena y de los objetos, incluidos el fondo, el material de la mesa, la instancia del objeto, la forma, el color, el tamaño y la textura.
Todos los modelos utilizan inferencia síncrona y ejecutan acciones a 30 Hz.
Tasas de éxito en tareas del mundo real
El artículo informa SR y PSR para cada tarea del mundo real y sus promedios en las configuraciones Easy y Hard.
Preguntas frecuentes
¿Qué fuentes de experiencia se utilizan para el preentrenamiento de lenguaje y vídeo? El artículo utiliza vídeos generales de OpenVid y Panda70M, y vídeos egocéntricos de Ego4D, EgoVerse y EgoSuite.
¿Cómo se representan las acciones robóticas? Cada mano utiliza una representación de 16 dimensiones del efector final bimanual: posición, un cuaternión de rotación wxyz y un valor de pinza.
¿Cómo filtra el artículo las trayectorias de demostración? Comprueba las dimensiones de las acciones, los valores faltantes y no finitos, la validez de los cuaterniones y, cuando corresponde, los ángulos articulares, los cambios de pose y el movimiento.
¿Cuáles son las limitaciones indicadas y las líneas futuras? El método ofrece un apoyo limitado para el razonamiento complejo, la planificación explícita en varias etapas y las tareas de largo alcance. Los autores planean explorar mecanismos de memoria y planificación jerárquica.