Diseño del hardware
Señales registradas
Durante la recopilación de datos, el mando Quest 2 proporciona la trayectoria 6-DoF de la muñeca, a partir de la cual se construyen los objetivos de movimiento del efector final. La cámara ojo de pez captura las interacciones entre la mano y los objetos, así como el contexto de la tarea circundante, mientras que el controlador de la mano registra tanto los objetivos articulares comandados de 20-DoF como los estados articulares resultantes. Por tanto, cada demostración incluye las acciones enviadas realmente a la mano, en lugar de acciones inferidas a partir de los estados medidos, y cumple así el requisito de datos de acción. Las conexiones rígidas mantienen fijas las transformaciones entre el controlador y la mano, y entre la cámara y la mano, de modo que el movimiento rastreado y las observaciones visuales sigan expresándose con respecto al mismo marco de referencia de la mano.
Diseño ergonómico
El conjunto completo sostenido en la mano pesa el peso total no se especifica en el texto proporcionado kg, de los cuales el hardware que no forma parte de la mano representa el peso del hardware que no forma parte de la mano no se especifica en el texto proporcionado kg. Para soportar esta carga y dejar libres el pulgar y el índice para manejar los controles, la tapa de la batería del Quest 2 se prolonga para formar un asa de recopilación que conecta el mando con el módulo transferible. Una correa en el dorso de la mano del operador soporta parte de la carga y reduce la fuerza de agarre sostenida.
El diseño inicial situaba el mando detrás de la mano robótica, desplazando el agarre del operador con respecto al centro de masa del conjunto y creando un brazo de palanca largo. El diseño final coloca el mando encima de la mano, de modo que el agarre quede cerca del centro de masa. Esto acorta el brazo de palanca y reduce el par de muñeca que debe contrarrestar el operador.
Control diestro mediante habilidades parametrizadas
El control mediante habilidades es una forma eficaz de operar sistemas robóticos de alta dimensionalidad. Por ejemplo, un humanoide puede recibir como comando una velocidad deseada, en lugar de especificar el movimiento de cada articulación. El mismo principio se aplica a las manos diestras al separar la intención del operador de los movimientos de los dedos necesarios para llevarla a cabo. Se diseña un conjunto compacto de habilidades para funcionar en una amplia variedad de tareas diestras. La interfaz de habilidades está parametrizada, en lugar de ser discreta, lo que permite un control más integral. Por ejemplo, el usuario controla la fuerza del agarre usando el joystick para cerrarlo o abrirlo gradualmente, en vez de pasar directamente a un único agarre fijo.
En conjunto, las habilidades mantienen disponibles las 20 articulaciones de la mano durante la recopilación, sin pedir al operador que controle cada una por separado, y cumplen el requisito de DoF que distingue una interfaz diestra de una pinza más sencilla. La interfaz utiliza un mando Meta Quest 2, que ofrece dos botones, dos gatillos continuos y un joystick de dos ejes. Estas entradas permiten al operador seleccionar y modular las habilidades.
Control del pulgar
Los dos ejes del joystick controlan la flexión y extensión del pulgar en un eje, y la abducción y aducción en el otro, siguiendo HATO. Esto permite al operador posicionar el pulgar de forma independiente para distintas geometrías de agarre.
Agarre de fuerza
Un eje del joystick controla el cierre coordinado de los cuatro dedos que no son el pulgar. Al mover el joystick, el agarre se afloja o se aprieta gradualmente; al soltarlo, se mantiene el objetivo actual. A diferencia del control mediante gatillos continuos, esta orden persistente no exige que el operador mantenga la presión durante todo el agarre. Se utiliza principalmente para rodear objetos más grandes con la mano.
Agarre de pinza
La misma orden incremental controla únicamente el dedo índice, que se cierra contra el pulgar posicionado de forma independiente. Esta habilidad permite manipular objetos pequeños y realizar agarres que requieren un contacto preciso con la punta de los dedos.
Agarre con dos dedos
Los dedos índice y medio se abren o cierran juntos, mientras los demás mantienen sus objetivos. Esta habilidad permite comportamientos de varias etapas, como agarrar varios objetos y realizar movimientos de agarre y tracción con dos dedos, sin que el operador tenga que coordinar cada dedo por separado.
Rotación en la mano
Un botón activa una política de lazo cerrado aprendida que genera los movimientos repetidos de los dedos necesarios para rotar en la mano una herramienta agarrada. La política controla los dedos mientras el operador sigue controlando el movimiento global de la mano.
Aprendizaje de la habilidad de rotación en la mano
La habilidad de rotación en la mano se aprende en simulación. Esto evita que el operador tenga que realizar una manipulación en la mano de bajo nivel que resulta difícil, especialmente sin retroalimentación háptica a nivel de los dedos. Se entrena en simulación una política de atornillado de lazo cerrado con PPO en Isaac Lab.
La tarea se modela como la rotación de un mango cilíndrico sobre una articulación revoluta. En el mundo real, el operador puede ajustar la muñeca, pero el entorno de simulación se simplifica: la base de la mano permanece fija y la política solo controla los dedos. La política aprende acciones delta sobre 12 articulaciones actuadas, mientras que los dedos anular y meñique permanecen fijos. Observa un historial de tres pasos que incluye las posiciones articulares medidas, los objetivos comandados y la acción anterior. Se aprende un crítico privilegiado con acceso al ángulo de rotación del mango.
Experimentos
La evaluación aborda tres preguntas de investigación:
- Q1: ¿Permiten los comandos de mano registrados por DexPort obtener políticas que tengan éxito en diversas tareas de manipulación diestra?
- Q2: ¿El entrenamiento conjunto con demostraciones recopiladas en entornos no estructurados mejora la robustez ante objetos no vistos y escenas desordenadas?
- Q3: ¿Cómo se compara el rendimiento de recopilación de DexPort con el de la teleoperación y las demostraciones realizadas con la mano humana?
Configuración experimental
Plataforma robótica
Las políticas se despliegan en Tianji Marvin, un robot bimanual con dos brazos de 7-DoF. Los módulos de mano y cámara utilizados para la recopilación se montan directamente en sus muñecas, por lo que la configuración física de la mano y las transformaciones extrínsecas entre la cámara y la mano son idénticas durante la recopilación y el despliegue. Por tanto, los objetivos de la mano no necesitan retargeting; en el despliegue, la única corrección es la transformación fija entre el controlador y el efector final.
La modularidad del sistema se demuestra con distintas manos: la mano Wuji 1 para las tareas de recoger y colocar, y atornillar; y la mano Wuji 2 para guardar objetos en un cajón y escanear códigos de barras con ambas manos.
Tareas
Cuatro tareas evalúan aspectos complementarios de la destreza:
- Recogida y colocación de verduras: El robot recoge y coloca secuencialmente dos verduras en un plato. Las variaciones en el tamaño y la forma de los objetos exigen que la política seleccione entre agarres de pinza y de fuerza sin etiquetas explícitas de agarre.
- Atornillado: El robot mantiene un agarre estable mientras rota un destornillador en la mano, lo que pone a prueba el contacto sostenido y el movimiento repetido de los dedos.
- Guardar objetos en un cajón: Sin soltar el objeto agarrado, el robot abre un cajón con la misma mano, coloca el objeto dentro y cierra el cajón. Esta tarea combina la retención del objeto con la manipulación de un objeto articulado.
- Escaneo bimanual de códigos de barras: Una mano agarra y presenta un objeto mientras la otra coloca y maneja un escáner de códigos de barras. Para tener éxito, se requiere coordinar con ambas manos la posición del objeto y del escáner.
Observaciones
Las políticas observan la imagen de la cámara ojo de pez del módulo de mano y cámara. Para guardar objetos en un cajón, se añade una cámara en tercera persona, porque el objeto agarrado oculta gran parte de la escena cuando se abre el cajón. El operador aparece ocasionalmente en los fotogramas grabados y no se aplica ningún posprocesamiento.
Conjuntos de datos
Se recopilan un total de 1,605 demostraciones de laboratorio para las cuatro tareas: 700 para recoger y colocar verduras, 200 para manipular un destornillador, 380 para guardar objetos en un cajón y 325 para escanear códigos de barras con ambas manos. Además, se recopilan 1,000 demostraciones de recogida y colocación en entornos no estructurados de apartamentos y oficinas. Las políticas entrenadas conjuntamente utilizan tanto los conjuntos de datos de laboratorio como los de recogida y colocación en entornos reales no controlados.
Variantes de entrenamiento y referencias
Para responder a Q1, las políticas entrenadas con los objetivos de mano comandados y registrados por DexPort se comparan con una referencia de estado como acción, que en su lugar utiliza los estados medidos de la mano como etiquetas de acción. Para responder a Q2, la política de recogida y colocación entrenada solo con datos de laboratorio se compara con dos variantes de entrenamiento conjunto. Para responder a Q3, se compara el número de trayectorias recopiladas en 30 minutos con DexPort, mediante teleoperación y con demostraciones realizadas con la mano humana.
Protocolo de evaluación
Cada política se evalúa durante 15 episodios por tarea o condición de evaluación. Para la recogida y colocación de verduras, las pruebas incluyen objetos conocidos, objetos no vistos y escenas con distractores. El éxito parcial consiste en colocar uno de los dos objetos; el éxito total, en colocar ambos. Para guardar objetos en un cajón y el escaneo bimanual, los resultados presentados abarcan la finalización de las distintas fases de la tarea. Para la manipulación del destornillador, las medidas presentadas son la duración media de sujeción en segundos y las rotaciones por minuto.
Aprendizaje de políticas en diversas tareas de manipulación diestra (Q1)
Los resultados del aprendizaje por imitación abarcan las cuatro tareas. Las políticas entrenadas con demostraciones de DexPort adquieren los comportamientos buscados: seleccionan entre agarres de pinza y de fuerza sin etiquetas de agarre, sujetan un objeto mientras abren un cajón con la misma mano, mueven los dedos para rotar un destornillador en la mano y coordinan dos brazos para presentar un objeto a un escáner.
Rendimiento de la recopilación de datos (Q3)
El rendimiento se mide como el número de trayectorias recopiladas durante 30 minutos de operación continua en la tarea de recogida y colocación con una sola mano. Se compara DexPort con las demostraciones humanas a mano desnuda y la teleoperación. En la teleoperación con guante, el operador utiliza el guante Wuji para el seguimiento de la mano y el mando de RV para el efector final. En la teleoperación por habilidades, el operador utiliza el mando de RV para controlar el efector final y las mismas habilidades de mano que DexPort. El operador es experto en cada modalidad de recopilación de datos.
Conclusiones
Limitaciones
A pesar de su diseño ergonómico, el peso del dispositivo limita el uso ininterrumpido y los movimientos con muchas rotaciones. Dado que el peso de la mano es el principal cuello de botella, futuros avances de hardware para obtener manos más ligeras y pequeñas podrían resolver esta limitación. Las habilidades también abarcan solo una parte del espacio de comportamientos diestros. En trabajos futuros se podría explorar su ampliación con otras habilidades aprendidas en simulación, como habilidades adicionales de manipulación en la mano, agarres aprendidos y más.
Agradecimientos
Los autores agradecen a Keyshawn King y Volodymyr Behma la recopilación de datos y el apoyo, y a Andrew Wright los diseños iniciales del hardware. También agradecen sus comentarios y apoyo a Tingfan Wu, Anas Houssaini, Jensen Gao y el equipo FAR.
Hardware y recopilación de datos
Hardware
El módulo de mano y cámara combina una mano Wuji con una cámara de placa USB equipada con una lente ojo de pez de 200°. En la Wuji 1, los objetivos de la mano pasan por un filtro paso bajo de 5 Hz y el firmware de la mano los interpola a 1 kHz, con un límite de par de 0.5 N·m por articulación.
Grabación y sincronización
Un único bucle de grabación se ejecuta a 30 Hz. La cámara, la mano y el mando Quest se leen cada uno en un hilo en segundo plano. Como la cámara y la mano utilizan el mismo bucle de 30 Hz durante la recopilación y el despliegue, se espera que sus latencias sean aproximadamente iguales en ambas situaciones. Por tanto, a diferencia de UMI, no se mide la latencia de los flujos ni se alinean temporalmente durante el posprocesamiento. En el despliegue, la inferencia asíncrona descarta las acciones cuyo tiempo ya ha transcurrido.
Despliegue
Control
La política se ejecuta a 30 Hz, la misma frecuencia que la recopilación. Siguiendo HATO, la inferencia se ejecuta de forma asíncrona: cada nuevo bloque de 16 pasos se alinea con el ciclo de control en el que se tomó su observación, se conservan los primeros 8 pasos, se descartan los pasos cuyo tiempo ya ha transcurrido y, en cada ciclo, se promedian los comandos de mano y muñeca de todos los bloques que lo abarcan. Cada bloque se muestrea con 10 pasos DDIM. Los movimientos de muñeca predichos se convierten en objetivos de brida mediante la transformación del soporte y se resuelven para el brazo de 7-DoF mediante cinemática inversa de Levenberg–Marquardt en PyRoki.
Preguntas frecuentes
¿Qué registra DexPort durante una demostración? Registra la trayectoria 6-DoF de la muñeca, las observaciones de la cámara ojo de pez, los objetivos articulares comandados de 20-DoF y los estados articulares resultantes de la mano.
¿Cómo controla la interfaz de habilidades de DexPort las manos diestras? Utiliza las entradas del mando Quest 2 para seleccionar y modular habilidades parametrizadas, como el control del pulgar, el agarre de fuerza, el agarre de pinza, el agarre con dos dedos y la rotación en la mano.
¿Qué tareas se utilizan para evaluar DexPort? Las tareas evaluadas son recoger y colocar verduras, atornillar, guardar objetos en un cajón y escanear códigos de barras con ambas manos.
¿Qué limitaciones señalan los autores? El peso del dispositivo limita el uso ininterrumpido y los movimientos con muchas rotaciones, y las habilidades actuales abarcan solo una parte del espacio de comportamientos diestros.