La manipulación diestra es una vía prometedora para permitir que los robots interactúen de forma compleja con objetos, pero recopilar suficientes demostraciones robóticas de alta calidad sigue siendo un importante cuello de botella. En el caso de las manos con muchos grados de libertad, las interfaces de teleoperación son especialmente costosas de diseñar y operar, y los movimientos recopilados están ligados a una morfología robótica específica. Los videos humanos permiten sortear este obstáculo: son fáciles de recopilar sin un robot ni un sistema de teleoperación, y contienen abundante información visual y cinemática sobre las interacciones entre la mano y los objetos. Los métodos recientes aprovechan esta información para aprender manipulación diestra a partir de un solo video humano.
Introducción
Sin embargo, la mayoría de estos métodos basados en un solo video lo convierten en instrucciones para la ejecución, como trayectorias de objetos reconstruidas, movimientos de la mano adaptados al robot o señales de contacto. Estas instrucciones facilitan el aprendizaje de políticas diestras de alta dimensionalidad, pero también vinculan la política resultante con el movimiento y la configuración espacial que aparecen en el video. Incluso para la misma tarea, estos métodos generalizan mal a poses iniciales de objetos, poses objetivo y agarres que no aparecen en el video.
Aprender una política diestra que generalice más allá de la ejecución mostrada en el video plantea dos desafíos estrechamente relacionados. El primero es la abstracción de la tarea: decidir qué conservar del video y qué dejar libre para que varíe. Conservar demasiado reduce la política a repetir el movimiento grabado; conservar demasiado poco deja la tarea insuficientemente especificada. El segundo es un problema de exploración difícil: cuanto más se deja libre para variar, mayor es la parte del espacio de estados que la política debe explorar. Sin instrucciones para la ejecución, el aprendizaje por refuerzo (RL) tiene dificultades para descubrir interacciones con varios dedos y abundantes contactos en este espacio de alta dimensionalidad, especialmente en tareas de varias etapas.
Para abordar ambos desafíos, presentamos Dex-One2Many, un marco de trabajo de realidad a simulación y de simulación a realidad que aprende una política generalizable de manipulación diestra a partir de un solo video humano. La idea clave es extraer del video la estructura de la tarea, no sus movimientos: un grafo de escena por etapas que especifica qué relaciones entre la mano y los objetos, y entre los propios objetos, deben cumplirse y en qué orden, mientras que el RL aprende cómo actúa la mano. Presentamos dos técnicas.
En primer lugar, la abstracción del grafo de escena por etapas reduce el video a las relaciones que requiere la tarea, como que la mano sostenga un objeto o que un objeto repose dentro de un recipiente, y al orden en que ocurren. Las poses de los objetos, las poses objetivo y los agarres pueden variar libremente. La abstracción divide el video en etapas cuando cambian estas relaciones y codifica cada etapa como un grafo de predicados sobre la mano, los objetos y sus partes funcionales. Cada grafo de etapa describe no un único estado grabado, sino un conjunto de estados que conservan la tarea.
En segundo lugar, el RL fundamentado en grafos de escena utiliza cada grafo de etapa como una restricción generativa: genera estados de reinicio que satisfacen las relaciones de la etapa, con diversos agarres de varios dedos, y conserva solo aquellos que superan las comprobaciones de simulación. Así, un único video se convierte en muchos estados de entrenamiento distribuidos por todo el espacio de trabajo. Los estados aceptados forman la distribución de estados iniciales de un proceso de decisión de Markov (MDP), cuyas observaciones y recompensas se derivan del grafo. Iniciar episodios en cada etapa facilita la exploración: la política puede practicar la última etapa antes de dominar la primera, en vez de llegar a ella solo por casualidad. En cada etapa, las recompensas derivadas de los predicados proporcionan una señal densa del progreso hacia el cumplimiento de las relaciones requeridas, sin hacer referencia a una trayectoria demostrada. Por tanto, la política aprende la estructura de la tarea y no la ejecución grabada.
Entrenada íntegramente en simulación, la política resultante completa sin entrenamiento adicional la tarea demostrada en una mano real de varios dedos, con poses iniciales y objetivo de los objetos que no aparecen en el video. Evaluamos cinco tareas que abarcan la manipulación directa de objetos y el uso de herramientas en un brazo UR3 con una mano Wuji 1 de 20-DoF. En configuraciones con poses iniciales y objetivo que no aparecen en el video, Dex-One2Many alcanza una tasa de éxito en el mundo real del 60–85%, mientras que los métodos de referencia se quedan en el 15% o menos.
Las principales contribuciones son:
- Abstracción del grafo de escena por etapas: Representamos una demostración humana mediante un grafo de escena por etapas que conserva la estructura definitoria de la tarea —las relaciones requeridas entre la mano y los objetos, y entre los objetos, así como su orden— y descarta los movimientos específicos de la ejecución.
- RL fundamentado en grafos de escena: Usamos el grafo de escena de cada etapa para generar diversos estados de reinicio a lo largo de la tarea, lo que permite a la política explorar agarres y movimientos alternativos, mientras fundamenta sus observaciones y recompensas en el grafo.
- Transferencia sin entrenamiento adicional de la simulación al mundo real en configuraciones no vistas: En cinco tareas del mundo real, las políticas aprendidas a partir de un único video humano alcanzan un éxito medio del 75% en configuraciones que no aparecen en el video de entrada, superando al siguiente método de referencia por 71 puntos porcentuales.
Abstracción del grafo de escena por etapas
Abstraemos el video humano como una secuencia de grafos de escena por etapas que conservan qué relaciones deben cumplirse y en qué orden, a la vez que permiten variar las poses de los objetos, las poses objetivo, los agarres y las trayectorias. Cada grafo representa una etapa de la tarea: sus nodos identifican la mano, los objetos relevantes para la tarea y sus partes funcionales, mientras que sus aristas describen las relaciones características de esa etapa. Cuando se realiza la misma tarea desde distintas configuraciones, las poses y trayectorias pueden diferir, pero las relaciones requeridas y su orden se mantienen. Nos referimos a esta abstracción como abstracción del grafo de escena por etapas.
Experimentos
Evaluamos Dex-One2Many en simulación y con hardware real. Los experimentos abordan tres preguntas:
- ¿Generaliza Dex-One2Many a configuraciones iniciales y objetivo que no aparecen en el único video humano?
- ¿Puede aplicarse Dex-One2Many a distintas morfologías diestras con cinemáticas diferentes?
- ¿Qué decisiones de diseño de Dex-One2Many son fundamentales para su rendimiento?
Configuración experimental
Tareas. Evaluamos Dex-One2Many en cinco tareas de manipulación que abarcan la manipulación directa de objetos y el uso de herramientas. Las tareas de manipulación directa —Doll, Can y Stamp— requieren que el robot agarre un objeto y lo mueva hasta una configuración objetivo. Las tareas de uso de herramientas —Hammer y Sweep— requieren que el robot agarre y manipule una herramienta para interactuar con otro objeto.
Configuración de hardware. Realizamos todos los experimentos en el mundo real con un brazo robótico UR3 de 6-DoF equipado con una mano diestra Wuji 1 de 20-DoF. Dos cámaras RGB-D Intel RealSense D435i capturan el espacio de trabajo desde puntos de vista complementarios. Estimamos las poses de los objetos a partir de estas observaciones mediante FoundationPose++.
Métodos de referencia. Comparamos Dex-One2Many con dos métodos previos que aprenden manipulación diestra a partir de un solo video humano. Estos métodos difieren en la información que extraen de la demostración humana y en cómo la utilizan para aprender la política. Do as I Do reconstruye la interacción mano–objeto en 4D y adapta al robot el movimiento recuperado de la mano humana mediante optimización de trayectorias. CHORD utiliza la evolución del estado de los objetos demostrado como recompensa de imitación y la complementa con una guía de fuerza de contacto que anima al robot a reproducir las trayectorias demostradas.
Generalización más allá del video humano
Los métodos de referencia derivan instrucciones para la ejecución del movimiento demostrado de la mano o de los objetos, que está ligado a la ejecución observada en el video. En cambio, Dex-One2Many utiliza grafos de escena por etapas como restricciones generativas para crear estados de entrenamiento diversos y coherentes con la tarea, lo que permite a la política aprender la misma estructura de tarea en distintas configuraciones que van más allá de la ejecución demostrada.
Decisiones de diseño y protocolo de evaluación
Realizamos todos los estudios de ablación en la tarea Sweep en simulación. Medimos el éxito en episodios que abarcan la tarea completa y comienzan con la mano vacía. Estudiamos dos aspectos de Dex-One2Many: la contribución de sus componentes de aprendizaje y el efecto de la escala de entrenamiento. Para las ablaciones de componentes, eliminamos un componente cada vez y mantenemos sin cambios todos los demás ajustes de entrenamiento. Para analizar la escala de entrenamiento, variamos únicamente el número de entornos paralelos utilizados para entrenar con PPO.
Vocabulario de predicados
El vocabulario de predicados abarca relaciones comunes en la manipulación sobre mesas. Cada predicado geométrico también tiene una forma de aproximación, indicada por el prefijo pre-, que se cumple mientras se aproxima a la relación, pero antes de que esta se establezca.
Observaciones
El grafo de escena identifica las entidades relevantes para la tarea, sus funciones, relaciones y regiones funcionales. Asignamos la mano demostrada al efector final del robot y asignamos los demás objetos según sus funciones en la tarea. En la manipulación directa, la observación incluye el efector final, el objeto manipulado y el objeto receptor. En la manipulación con herramientas, el objeto sostenido es la herramienta y se incorpora otro objeto sobre el que se actúa (objeto de interacción).
Los nodos de objetos y partes funcionales proporcionan su geometría local, como el tamaño del objeto, las regiones de agarre y las superficies de trabajo. Las partes funcionales se asocian con la mano o con otro objeto según su función en la interacción. Representamos una región de agarre mediante su centro y las dimensiones de su caja delimitadora, y una superficie de trabajo mediante su centro, el vector normal unitario de su superficie y la extensión de esta.
Cada arista del grafo de escena aporta una pose relativa 6D entre las entidades que conecta. Es importante señalar que esta pose relativa se define según el predicado codificado por la arista: el predicado determina qué características geométricas de las dos entidades se utilizan, de acuerdo con las mismas definiciones de características que se emplean en las funciones de distancia de los predicados. Por tanto, una arista puede relacionar los centros de objetos, regiones funcionales u otras características específicas del predicado, en lugar de limitarse a relacionar los centros de los dos objetos. Se concatenan todas las características de los nodos, las partes y las aristas para formar la observación de la política.
Generalización a posiciones iniciales de objetos no vistas
Para analizar más a fondo la generalización espacial más allá del video humano, fijamos la configuración objetivo y variamos la posición inicial del objeto en el espacio de trabajo factible. Evaluamos la generalización de la posición inicial en las cinco tareas.
Diversidad de estrategias de agarre según la morfología y la configuración
La especificación de la tarea extraída del video humano no prescribe una configuración de agarre específica. En cambio, el proceso de generación de reinicios expone a la política a diversos agarres de varios dedos, extraídos de la taxonomía de agarres de 33 tipos, lo que permite que la estrategia de agarre se adapte a la morfología del robot y a la configuración actual del objeto.
Conclusiones, limitaciones y trabajo futuro
Aunque Dex-One2Many mejora considerablemente la generalización a configuraciones no vistas y se aplica a diversas morfologías de manos, aún presenta varias limitaciones. En primer lugar, persiste una brecha entre la simulación y el mundo real, ya que la implementación en el mundo real depende de poses 6D de objetos estimadas. El ruido en la estimación de poses y las diferencias entre la geometría simulada y la real de los objetos pueden degradar el rendimiento de la política, sobre todo en interacciones con abundantes contactos.
En segundo lugar, el proceso de realidad a simulación solo reconstruye objetos rígidos, por lo que los objetos articulados requerirían modelos creados manualmente. Como un único video puede no revelar la estructura de articulación subyacente —por ejemplo, la ubicación y los ejes de las articulaciones, y sus límites—, la reconstrucción automática de realidad a simulación sigue siendo difícil. Inferir directamente estas cinemáticas estructurales a partir de videos sin restricciones es una importante línea de trabajo futuro.
Agradecimientos
Este trabajo recibió apoyo parcial de la subvención del Institute of Information & Communications Technology Planning & Evaluation (IITP), financiada por el gobierno de Corea (MSIT) [No. RS-2021-II211343, Artificial Intelligence Graduate School Program (Seoul National University)]; del Technology Innovation Program (RS-2025-25453780, Development of a National Humanoid AI Robot Foundation Model for Multi-Task Applications), financiado por el Ministry of Trade, Industry & Energy (MOTIE, Korea); y de Samsung Electronics Robotics eXperience (RX). Agradecemos a Jinu Pahk y Kangin Lee, de Tommoro Robotics, por proporcionar la mano Wuji 1 utilizada en nuestros experimentos en el mundo real.
Preguntas frecuentes
¿Qué aprende Dex-One2Many de un video humano? Extrae las relaciones de la tarea por etapas y su orden, en lugar de reproducir el movimiento demostrado.
¿Cómo genera el método estados de entrenamiento? Utiliza el grafo de escena de cada etapa para muestrear estados de reinicio candidatos, incluidos diversos agarres de varios dedos, y conserva los que superan las comprobaciones de simulación.
¿Qué tareas se evalúan? Las cinco tareas son Doll, Can, Stamp, Hammer y Sweep, que abarcan la manipulación directa de objetos y el uso de herramientas.
¿Cuáles son las principales limitaciones? El rendimiento en el mundo real puede verse afectado por la estimación de las poses de los objetos y las diferencias geométricas entre la simulación y la realidad. El proceso también reconstruye únicamente objetos rígidos.