¿Cómo pueden aprender los humanoides a interactuar con la diversidad de objetos que encuentran en la vida cotidiana? El aprendizaje por imitación visual ofrece una vía prometedora: las demostraciones humanas muestran los movimientos coordinados de cuerpo completo necesarios para acercarse a distintos objetos, levantarlos, transportarlos y soltarlos. Recientemente, los flujos de trabajo de realidad a simulación y de simulación a realidad han permitido que los humanoides adquieran directamente de vídeos humanos habilidades de locomoción contextual de cuerpo completo. Estos avances apuntan a un camino hacia humanoides generalistas que aprendan un amplio repertorio de habilidades de locomoción y manipulación a partir de datos de vídeo a escala de internet.
Sin embargo, conseguir vídeos de alta calidad y diversos de interacciones entre personas y objetos sigue siendo un cuello de botella práctico para ampliar el aprendizaje por imitación visual. Los vídeos de internet abundan, pero su contenido y encuadre están condicionados por las preferencias de quienes los ven. Por eso, filtrar vídeos de internet para encontrar demostraciones que muestren claramente el cuerpo completo de la persona y cómo interactúa con los objetos resulta costoso e impracticable a gran escala. Aun así, los modelos generativos de vídeo modernos contienen implícitamente esos datos de interacción: sus priors aprendidos sobre el movimiento y las interacciones humanas pueden utilizarse para sintetizar vídeos de entrenamiento diversos.
El principal reto técnico consiste en obtener demostraciones robóticas físicamente plausibles pese a los errores introducidos tanto por la generación de vídeos contrafactuales como por la reconstrucción monocular. La idea clave es utilizar señales de contacto como restricción común en la reconstrucción, el retargeting y el aprendizaje de políticas. En la primera etapa de reconstrucción, el contacto entre la persona y el objeto acopla ambos movimientos: el movimiento humano guía la trayectoria del objeto, mientras que el contacto con el objeto ayuda a corregir errores en la pose humana reconstruida. Durante el retargeting, anclajes de contacto dispersos especifican dónde deben tocar el objeto los efectores finales del robot. Estos anclajes guían el refinamiento de reconstrucciones ruidosas para obtener trayectorias físicamente plausibles de robot y objeto, a la vez que se tienen en cuenta las diferencias morfológicas. Durante el aprendizaje de políticas, los anclajes definen recompensas de contacto para una política docente privilegiada que realiza el seguimiento conjunto del movimiento del robot y del objeto. A continuación, la política docente se destila en una política basada en profundidad, controlada mediante joystick y preparada para el despliegue sim-to-real de cero disparo.
Las contribuciones son: un paradigma de aprendizaje que utiliza la generación de vídeos contrafactuales para ampliar la experiencia de interacción entre personas y objetos; un flujo de trabajo de realidad a simulación y retargeting anclado al contacto que convierte reconstrucciones monoculares en demostraciones físicamente plausibles de robot y objeto; y un flujo de trabajo de realidad a simulación y de simulación a realidad que entrena una política unificada de cuerpo completo para humanoides, capaz de generalizar entre objetos diversos y ejecutar comportamientos de recogida, transporte y suelta controlados por joystick a partir de observaciones de profundidad a bordo.
Generación de vídeos contrafactuales de interacción
Ampliar el aprendizaje de realidad a simulación con vídeos en línea sigue siendo difícil. Aunque los vídeos de internet abundan, su contenido y encuadre están condicionados por las preferencias de quienes los ven. Por ello, filtrar clips diversos que muestren claramente el cuerpo completo, interacciones visibles entre personas y objetos, y puntos de vista estables resulta costoso e impracticable a gran escala. PRISM utiliza la generación de vídeo a vídeo para ampliar un pequeño conjunto de vídeos reales adecuados y crear vídeos contrafactuales diversos de interacción: interacciones que no ocurrieron en los vídeos originales, pero que podrían haber ocurrido con otros objetos. A partir de un vídeo semilla y una instrucción de texto a nivel de categoría, se pide al modelo que sustituya el objeto manipulado y conserve el fondo original, la iluminación, el punto de vista de la cámara y la estructura general de la tarea. Este condicionamiento por vídeo basa la generación en una escena y tarea reales, al tiempo que permite variar el objeto y el comportamiento humano.
Es importante señalar que la variación contrafactual no se limita a la geometría o el aspecto del objeto. Cuando cambia la categoría, el tamaño, la pose o la ubicación del objeto, también cambian las posibilidades de manipulación que ofrece, y el comportamiento humano se adapta en consecuencia. La persona generada puede agacharse más, ajustar la separación entre las manos, adaptar la estrategia de contacto a las posibilidades del objeto o transportarlo de otra manera. Así, cada clip generado ofrece una estrategia de interacción condicionada por el objeto, en lugar de limitarse a emparejar el mismo movimiento humano con un objeto nuevo. Esto permite que PRISM obtenga variaciones a nivel de comportamiento que son difíciles de codificar manualmente solo mediante aumentos a nivel geométrico. Aprender esas adaptaciones desde cero exigiría diseñar exhaustivamente recompensas de aprendizaje por refuerzo específicas para cada tarea; en cambio, PRISM utiliza el modelo de vídeo como prior fuera de línea sobre adaptaciones humanas plausibles.
En la práctica, se graban cuatro vídeos semilla del mundo real y se utilizan como plantillas de referencia para la generación de vídeo a vídeo. Se indica a SeedDance 2.0 que sustituya el objeto manipulado por una caja, un contenedor, un barril o una pelota, preservando el fondo original, la iluminación, el punto de vista de la cámara y la continuidad temporal. Las instrucciones a nivel de categoría permiten que el modelo varíe la geometría, el aspecto y la pose del objeto mientras adapta el comportamiento humano. Con 16 muestras por categoría, cada vídeo semilla produce 64 vídeos contrafactuales, lo que amplía cuatro grabaciones reales hasta alcanzar 256 vídeos para el flujo de trabajo de realidad a simulación.
Entrenamiento de una política docente de seguimiento conjunto
La interacción de los humanoides con objetos se formula como un problema de seguimiento conjunto, en el que la política sigue simultáneamente tanto el movimiento del humanoide como la trayectoria dinámica del objeto reconstruida a partir de vídeos monoculares. El artículo remite a los lectores a su base de código para consultar los detalles del entrenamiento de seguimiento del movimiento.
Observaciones
Las observaciones de la política docente incluyen el movimiento de referencia, la propiocepción del robot, la acción anterior y los estados actuales y objetivo del objeto. Los estados del objeto se representan mediante su pose y las dimensiones de su caja delimitadora 3D, lo que permite que la política tenga en cuenta explícitamente tanto el movimiento deseado del robot como el estado del objeto.
Recompensas y terminaciones
La recompensa consiste principalmente en el seguimiento de la pose del robot, el seguimiento de la pose del objeto, la tasa de acción, los límites articulares y las penalizaciones por colisión. Una recompensa de interacción sensible al contacto utiliza los anclajes de contacto descritos en el método de reconstrucción y retargeting. En concreto, la recompensa anima a los efectores finales del robot a alcanzar las posiciones de contacto deseadas y superar un umbral predefinido de fuerza de contacto.
Calidad de la reconstrucción de realidad a simulación
Métricas de evaluación
Para la política estudiante destilada, las órdenes del joystick se derivan del movimiento de referencia y las observaciones de profundidad se generan en simulación para controlar la política. Una ejecución se considera exitosa si el robot completa la secuencia de recoger, transportar y soltar, y coloca el objeto en la posición objetivo deseada.
Análisis
Las políticas entrenadas con OMOMO funcionan bien en secuencias de OMOMO, pero se transfieren mal a las interacciones de PRISM, especialmente con objetos fuera del dominio de entrenamiento. Se identifican tres modos principales de fallo: la política tiene dificultades con observaciones de profundidad no vistas, se sobreajusta a interacciones a corta distancia e intenta agarrar antes de acercarse a objetos lejanos, y no logra estabilizar el transporte con geometrías de objetos novedosas.
Estos fallos sugieren que OMOMO, por sí solo, carece de la variación en percepción, configuración de objetos y dinámica de interacción necesaria para una locomoción y manipulación robustas. En cambio, las políticas entrenadas con PRISM generalizan entre ambos dominios, lo que demuestra la mayor capacidad de transferencia de los datos de PRISM.
Despliegue en el mundo real
Fast-FoundationStereo reduce considerablemente la brecha de profundidad entre simulación y realidad. El cuello se inclina manualmente hacia arriba un ángulo no especificado desde su posición predeterminada, con ayuda de la aleatorización de la pose de la cámara durante el entrenamiento para tolerar una calibración imprecisa. Al agacharse, el cuello a veces vuelve a su posición predeterminada o se desvía del ángulo objetivo, lo que produce observaciones de profundidad fuera de la distribución.
Conclusión
PRISM es un marco de realidad a simulación y de simulación a realidad que amplía unos pocos vídeos reales para crear demostraciones diversas de humanoides. La reconstrucción y el retargeting anclados al contacto convierten vídeos contrafactuales imperfectos en trayectorias físicamente plausibles de robot y objeto. La política unificada resultante, basada en profundidad, recoge, transporta y suelta objetos no vistos en el mundo real sin entrenamiento específico en ellos. Estos resultados destacan la generación de vídeo como una fuente práctica de datos para lograr interacciones de cuerpo completo generalizables.
Limitaciones y trabajo futuro
El flujo de trabajo ofrece resultados alentadores en el mundo real, pero aún presenta varias limitaciones prácticas.
Reconstrucción y retargeting
La recuperación monocular 4D de personas, objetos y escenas sigue siendo difícil, especialmente cuando se trata de conservar contactos coherentes y dinámicas de interacción. Los errores de reconstrucción pueden propagarse durante el retargeting y comprometer las demostraciones robóticas. Aunque Astra no estaba disponible durante el desarrollo de este trabajo, agentes de programación como este podrían automatizar y refinar iterativamente la reconstrucción a partir de vídeos contrafactuales. Combinar estos agentes con retargeting sensible al contacto y validación basada en simulación podría mejorar la fiabilidad de las demostraciones robóticas.
Escala de los datos
Cuatro vídeos semilla producen 256 clips generados, 137 trayectorias factibles y 129 ejecuciones exitosas de la política docente. Esta escala no basta para caracterizar el comportamiento al aumentar la escala, y la reconstrucción y el retargeting siguen siendo cuellos de botella prácticos. El trabajo futuro debería ampliar conjuntamente la generación y la recuperación de trayectorias para estudiar cómo afectan la cantidad y la calidad de las demostraciones a la generalización de cero disparo.
Física de los objetos
El método utiliza masas nominales específicas de cada categoría e inercias derivadas de las mallas, con escalado acoplado de masa e inercia y fricción aleatorizada. No identifica las propiedades superficiales específicas de cada instancia ni las distribuciones internas de masa, lo que puede causar discrepancias de contacto entre simulación y realidad.
Limitaciones de la simulación
Los objetos dinámicos se modelan como cuerpos rígidos. Por ello, la política puede tener dificultades con objetos articulados o deformables cuya geometría de contacto puede cambiar durante la interacción. Por ejemplo, las sillas plegables pueden desplazarse mediante sus articulaciones internas, lo que puede provocar agarres inestables o pérdida de control.
Agradecimientos
Los autores agradecen a Chung Min Kim, Arthur Allshire, Hongsuk Choi, Isabella Yu, Junyi Zhang, Jacob Berg, Yen-Jen Wang, Sirui Chen, Charlie Cheng, Jiashun Wang, Siheng Zhao, Youjian Huang, JC Hu, Haochen Wang, Haozhi Qi y Qitao Zhao su apoyo y sus valiosos comentarios.
Fiabilidad de los anclajes de contacto
Para el transporte con las dos manos, la superposición 2D proporciona el momento del contacto; las intersecciones de la malla con el segmento entre los centros de las palmas proporcionan anclajes en el marco de coordenadas del objeto. Los errores de pose y de malla pueden causar penetración y fallos de cinemática inversa. El método conserva las soluciones de cinemática inversa sin penetración y las ejecuciones de la política docente en trayectorias completas, sin garantías formales de contacto o viabilidad.
Tiempo de ejecución del flujo de trabajo
El artículo informa de los tiempos medios por clip de 8 segundos en una tabla citada, pero los valores de los datos de esa tabla no aparecen en el texto proporcionado. La reconstrucción y el retargeting utilizan una GPU NVIDIA L40S; la latencia de la generación de vídeo a vídeo se registra por separado.
Ejemplos adicionales de interacción
El artículo presenta reconstrucciones de rodar una pelota y abrir una puerta, dadas representaciones adecuadas de los objetos y puntos de contacto. Para la geometría de la puerta se utiliza SAM3D y para su articulación, Codex. Estos ejemplos cualitativos no son evaluaciones de políticas ni del mundo real; el uso de herramientas, los cambios de agarre, una manipulación más amplia de objetos deformables y dinámicas extremas como las de ExoRecon siguen sin probarse.
Preguntas frecuentes
¿Cómo genera PRISM demostraciones de interacción diversas? Utiliza generación de vídeo a vídeo para sustituir objetos en vídeos semilla reales, preservando la escena y adaptando el comportamiento humano al objeto.
¿Qué función cumplen los anclajes de contacto en el flujo de trabajo? Guían la reconstrucción y el retargeting sensibles al contacto, y definen las recompensas de contacto para la política docente.
¿Cuántos vídeos contrafactuales se generaron? Cuatro vídeos semilla se ampliaron hasta generar 256 vídeos, utilizando 16 muestras por categoría de objeto.
¿Cuáles son las principales limitaciones del método? Los errores de reconstrucción monocular, la escala limitada de los datos, la incertidumbre sobre la física de los objetos y la simulación de cuerpos rígidos pueden limitar el rendimiento.