Trabajos recientes han explorado el uso de pipelines de reorientación al estilo humanoide para manos diestras, pero los resultados se han limitado en gran medida a simulación o reproducciones en bucle abierto de movimientos simulados. Una hipótesis para este limitado éxito en el mundo real es que la simple reorientación cinemática, aunque iguala de cerca la pose de la mano humana, ignora la interacción mano-objeto y produce trayectorias físicamente implausibles que son una mala referencia para el RL posterior. Esto plantea una pregunta natural: ¿preservar las interacciones durante la reorientación mejora el RL para la manipulación diestra con contacto?
Nuestras contribuciones son las siguientes:
- Proponemos un marco general y minimalista para aprender manipulación diestra a partir de una única demostración humana. Publicamos el código y los datos para que la comunidad reproduzca los resultados y construya sobre nuestro trabajo.
- Aplicamos una estrategia de aumento de datos simple pero efectiva que expone la política de RL a diversas trayectorias para mejorar la robustez y generalización.
- Evaluamos nuestro método en tareas desafiantes de manipulación diestra con contacto y demostramos su rendimiento superior sobre métodos existentes, especialmente el valor de la reorientación de movimiento que preserva interacciones.
Marco de Aprendizaje por Refuerzo Guiado por Reorientación
El marco propuesto, que llamamos Regrind, consta de tres etapas. Primero, se captura una única demostración humana usando guantes de captura de movimiento y un rastreador de objetos. Segundo, el movimiento de la mano humana se reorienta a la mano del robot preservando las interacciones mano-objeto mediante una optimización basada en física. Tercero, se entrena una política de aprendizaje por refuerzo para seguir la trayectoria reorientada, aplicando aumento de datos durante el entrenamiento para mejorar la robustez.
Reorientación de Movimiento que Preserva Interacciones
La innovación clave es el paso de reorientación que preserva interacciones. En lugar de simplemente mapear ángulos articulares humanos a ángulos articulares del robot, optimizamos la trayectoria del robot para mantener la misma relación espacial entre la mano y el objeto observada en la demostración humana. Esto asegura que las interacciones de contacto se preserven, generando trayectorias de referencia físicamente plausibles para el entrenamiento de RL posterior.
El objetivo de reorientación equilibra tres términos: un término cinemático que iguala la pose de la mano humana, un término de interacción que preserva las relaciones espaciales mano-objeto, y un término de regularización que mantiene al robot dentro de los límites articulares y evita autocolisiones.
Aumento de Datos para un Aprendizaje Robusto de Políticas
Durante el entrenamiento de RL, aplicamos aumento de datos a nivel de trayectoria para exponer la política a diversos estados iniciales y configuraciones de objetos. Esto incluye aleatorizar la pose inicial del objeto, añadir ruido a la trayectoria de referencia y perturbar las posiciones articulares iniciales del robot. Esta simple estrategia de aumento mejora significativamente la capacidad de la política para generalizar a diferentes condiciones iniciales y dinámicas del mundo real.
Evaluación Experimental
Diseñamos experimentos para responder las siguientes preguntas clave:
- ¿La reorientación que preserva interacciones mejora la fidelidad de la reorientación?
- ¿Preservar las interacciones durante la reorientación mejora el rendimiento del RL posterior?
- ¿Pueden las políticas entrenadas con Regrind transferirse a dinámicas del mundo real?
- ¿Pueden las políticas replicar la demostración desde diferentes estados iniciales?
Configuración Experimental
Métricas de Evaluación. Utilizamos las siguientes dos métricas para evaluar el rendimiento de la política:
- Error de Seguimiento del Objeto (Err.): La distancia promedio entre las posiciones actuales de los puntos clave del objeto y las posiciones objetivo de los puntos clave del objeto.
- Tasa de Éxito (SR): La proporción de ensayos exitosos sobre el número total de ensayos.
Líneas Base. Comparamos nuestro método con dos líneas base representativas para aprender manipulación diestra a partir de demostraciones humanas:
- SPIDER, un método de reorientación basado en física que genera trayectorias de robot dinámicamente factibles. Las trayectorias reorientadas pueden ejecutarse como políticas en bucle abierto o usarse como movimientos de referencia para RL posterior.
- DexMachina, que entrena políticas de RL para seguir trayectorias de robot reorientadas cinemáticamente, pero sin considerar las semánticas de interacción robot-objeto en el proceso de reorientación.
Además, comparamos con una línea base simple que reorienta el movimiento humano al robot con cinemática inversa diferencial (usando Mink) y luego entrena una política de RL con las mismas configuraciones que nuestro método, llamado Mink IK + RL.
Resultados
Nuestro método supera consistentemente a todas las líneas base en múltiples tareas de manipulación diestra con contacto. La reorientación que preserva interacciones conduce a errores de seguimiento del objeto significativamente menores y tasas de éxito más altas en comparación con los enfoques de reorientación puramente cinemática. Las políticas entrenadas con Regrind también demuestran una transferencia exitosa de simulación a realidad, manteniendo altas tasas de éxito al implementarse en hardware real.
Limitaciones
Somos optimistas sobre el aprendizaje basado en reorientación para manipulación diestra, ya que hemos demostrado resultados prometedores en tareas desafiantes y hemos obtenido una mejor comprensión de los desafíos de la transferencia de simulación a realidad en manipulación con contacto. Al mismo tiempo, quedan varias limitaciones. Primero, nuestro método depende de la captura de movimiento para obtener el estado del objeto en el momento de la implementación. Destilar la política de RL basada en estado en una política basada en visión es un paso natural para hacer el sistema más aplicable a escenarios del mundo real. Segundo, nuestro pipeline todavía requiere una identificación cuidadosa del sistema para permitir la transferencia de simulación a realidad; una dirección prometedora es adaptar la política en tiempo de prueba utilizando el contexto inferido de las interacciones con el mundo real.
Este proyecto fue apoyado en parte por el Departamento de la Marina, Oficina de Investigación Naval bajo el número de premio ONR N00014-25-1-2086. El entrenamiento del modelo se realizó utilizando el clúster de computación compartida Unicorn en la Universidad de Cornell. Yunhai Feng agradece al Laboratorio PoRTaL por el apoyo con la creación de prototipos de captura de movimiento, a Paige Yun por la ayuda con la infraestructura de captura de movimiento, y a Samuel Jin y otros miembros del Laboratorio Praxis por la útil discusión técnica.
Preguntas Frecuentes
¿Qué hace diferente a la reorientación que preserva interacciones de la reorientación cinemática estándar? La reorientación cinemática estándar solo iguala los ángulos articulares, mientras que la reorientación que preserva interacciones también mantiene la relación espacial entre la mano y el objeto, asegurando que se preserven las interacciones de contacto de la demostración humana.
¿Cuántas demostraciones humanas se necesitan para entrenar una política? El marco requiere solo una única demostración humana para entrenar una política de manipulación diestra, lo que lo hace altamente eficiente en términos de datos.
¿Pueden las políticas aprendidas transferirse a hardware robótico real? Sí, el artículo demuestra una transferencia exitosa de simulación a realidad de las políticas entrenadas con Regrind, mostrando que la reorientación que preserva interacciones produce trayectorias físicamente plausibles adecuadas para la implementación en el mundo real.
¿Qué tipos de tareas de manipulación diestra puede manejar este método? El método se evalúa en tareas desafiantes con contacto que requieren coordinación precisa de dedos y control de fuerza, como la reorientación de objetos y la manipulación dentro de la mano.