Introducción
Es importante señalar que estas políticas internas sirven para facilitar la recopilación de datos; no forman parte del controlador autónomo final. Las demostraciones resultantes se utilizan después para entrenar una política visuomotora externa independiente que, durante el despliegue, controla tanto el brazo como la mano. Para facilitar el aprendizaje de este espacio de acciones de alta dimensionalidad, un autoencoder variacional de acciones de la mano (H-VAE) proporciona objetivos compactos para la mano, mientras que las órdenes del brazo se mantienen directamente en el espacio articular. Evaluamos este proceso completo, desde la recopilación de demostraciones hasta la autonomía —incluidos el aprendizaje de la política autónoma, la ejecución en línea, el comportamiento ante el contacto y la reutilización de habilidades manuales entre tareas—.
En concreto, las contribuciones técnicas son:
- Recopilación de demostraciones diestras asistida por copiloto. Un embrague reversible permite al operador regular habilidades manuales condicionadas por el estado mientras controla el brazo; la selección automática de habilidades permite reutilizar distintos comportamientos manuales en varias fases de una tarea.
- Recopilación anidada y despliegue autónomo. Las políticas internas de la mano, aprendidas y asignadas dinámicamente por un modelo de visión y lenguaje, asisten en la recopilación de demostraciones completas de las tareas. Después, una política visuomotora externa independiente aprende a partir de esas demostraciones y se ejecuta de forma autónoma durante el despliegue.
- Evaluación en el mundo real, de la recopilación a la autonomía. En seis tareas de manipulación diestra, se evalúan la fiabilidad y eficiencia de las demostraciones, el aprendizaje posterior de políticas autónomas y los efectos de las representaciones compactas de acciones manuales y de la ejecución en línea sensible al contacto.
NestDex: políticas diestras anidadas
NestDex separa la recopilación asistida de demostraciones de la ejecución autónoma de tareas. Las demostraciones de habilidades manuales, obtenidas mediante retargeting, entrenan políticas internas propioceptivas que asisten la teleoperación de tareas completas. Después, un autoencoder variacional (VAE) de posturas de la mano, denominado H-VAE, codifica las órdenes manuales recopiladas para entrenar una política visuomotora externa que controla la tarea completa.
Implementación
Los experimentos utilizan una plataforma líder-seguidor. Cada unidad líder cuenta con un brazo y un embrague, mientras que cada unidad seguidora dispone de un brazo, una mano diestra y una cámara en la muñeca. Las posiciones articulares del brazo líder se traducen directamente en órdenes para el brazo seguidor. El embrague del líder regula la ejecución de la política interna en la mano del seguidor, y cada conjunto brazo-mano ejecuta su política interna de forma independiente.
Recopilación fiable y eficiente de demostraciones
NestDex se comparó con AnyTeleop en seis tareas de manipulación diestra, recopilando veinte demostraciones por tarea con cada sistema. Se notificaron la tasa de éxito y el tiempo por demostración exitosa conforme a las métricas definidas. «N/A» indica que no se obtuvo ninguna demostración exitosa.
El mismo operador realizó ambas condiciones después de familiarizarse con cada interfaz. Entre intentos, los objetos se restablecieron a las mismas configuraciones nominales iniciales.
Del copiloto a la autonomía
Las políticas externas entrenadas con demostraciones recopiladas por el copiloto alcanzan tasas de éxito efectivas en todas las tareas evaluadas, lo que confirma la utilidad de estas demostraciones para el aprendizaje posterior de políticas.
Con acciones manuales directas, las políticas entrenadas con demostraciones recopiladas por el copiloto superan en todas las tareas en las que ambas fuentes proporcionan datos de entrenamiento a las entrenadas con demostraciones de AnyTeleop. En Tongs Transfer, AnyTeleop no proporciona demostraciones exitosas para entrenar la política externa, mientras que las demostraciones recopiladas por el copiloto permiten ejecutar con éxito la tarea de forma autónoma.
Ejecución en línea y comportamiento ante el contacto
La misma política interna se probó en una tarea de agarre de una botella de agua bajo tres condiciones de ejecución:
- Reproducción de órdenes fijas: repite la trayectoria de órdenes articulares guardada a partir de una ejecución exitosa.
- Lazo cerrado, sin ensamble: consulta la política usando el historial propioceptivo más reciente, pero ejecuta la primera acción de cada nuevo bloque.
- Lazo cerrado, con ensamble temporal: aplica un promedio temporal de las predicciones solapadas de la misma política.
Para realizar una comparación equilibrada, se utilizaron los diez primeros ensayos con un resultado dictaminado de cada condición, con un total de treinta ensayos.
Selección y reutilización de habilidades entre fases de una tarea
Las selecciones de políticas internas se examinaron cualitativamente durante demostraciones representativas de Toast Preparation y Binder Filing.
En ambas tareas, la habilidad seleccionada sigue la fase actual y las habilidades utilizadas anteriormente se reactivan cuando es necesario. Toast Preparation selecciona Tongs Grasp, Button Press y Plate Grasp antes de volver a Tongs Grasp. Binder Filing vuelve a Paper Pinch después de Hole-Punch Press y, a continuación, selecciona Binder Closure.
Estas secuencias muestran que el selector reutiliza un conjunto compacto de habilidades manuales en las distintas fases de una tarea.
Preguntas frecuentes
¿Qué función desempeñan las políticas internas en NestDex? Las políticas internas facilitan la recopilación de demostraciones y no forman parte del controlador autónomo final.
¿Qué controla la política visuomotora externa? Durante el despliegue, la política externa controla la tarea completa, incluidos el brazo y la mano del robot.
¿Cómo contribuye el H-VAE al aprendizaje de políticas? El H-VAE codifica las órdenes manuales recopiladas en objetivos compactos para la mano, mientras que las órdenes del brazo permanecen directamente en el espacio articular.
¿Cómo se reutilizan las habilidades manuales entre fases de una tarea? La selección automática de habilidades sigue la fase actual de la tarea y reactiva las habilidades utilizadas anteriormente cuando es necesario.