EyeRobot 2.0 es un marco de aprendizaje robótico que introduce la Fijación Visual Activa (AVF). Usando únicamente la información de una cámara estéreo fija, puede realizar tareas de manipulación precisa, como insertar una pajita, poner el capuchón a un rotulador, cerrar una bolsa con cremallera o sacar una llave inglesa de una caja de herramientas, además de tareas de varias etapas, como abrir un horno tostador, extraer la bandeja, sacar una sartén, volver a meter la bandeja y cerrar la puerta.
Evaluamos EyeRobot 2.0 en siete tareas físicas y seis tareas simuladas en MuJoCo, recopilando datos y entrenando políticas para una sola tarea desde cero. En más de 1,000 pruebas físicas, supera en un 40% a las referencias con estéreo fijo y en un 20% a las tareas simuladas de recoger y colocar, con una mejora de rendimiento mayor en tareas que requieren precisión fina. En comparación con la configuración de vanguardia, ampliamente adoptada, que combina visión egocéntrica y cámaras en la muñeca, EyeRobot 2.0, sin cámaras en la muñeca, iguala el rendimiento en las pruebas físicas. En tareas en las que las cámaras de muñeca sufren una oclusión considerable, mantiene un rendimiento alto, mientras que las referencias con cámaras de muñeca retroceden hasta el rendimiento del estéreo fijo. Los estudios de ablación muestran que las acciones centradas en la fijación explican una parte significativa de la mejora de EyeRobot 2.0 y aportan un aumento del rendimiento del 20% en las tareas de simulación. La foveación contribuye de manera importante al éxito en el mundo real en tareas detalladas, con un aumento global del rendimiento del 20%.
Manipulación con fijación visual activa
Estudiamos el aprendizaje de políticas visomotoras a partir de demostraciones de teleoperación humana para la manipulación bimanual con pinzas de mordazas paralelas. Dado un conjunto de demostraciones que especifican una tarea, el objetivo es entrenar políticas específicas para esa tarea que reproduzcan el comportamiento demostrado con variaciones acotadas de la pose.
EyeRobot 2.0 considera una configuración egocéntrica en la que las observaciones se proporcionan exclusivamente mediante una cámara estéreo aproximadamente montada en la cabeza. La política se evalúa con criterios de éxito específicos para cada tarea.
Aprendizaje de patrones de mirada mediante aprendizaje por refuerzo
Entrenamos AVF en dos fases. Primero, entrenamos una política de fijación condicionada por objetivos, capaz de fijar la mirada en cualquier objeto pertinente para la tarea. Después, entrenamos una política jerárquica de selección de objetivos que secuencia las fijaciones para optimizar el rendimiento de la tarea.
En la primera fase, la política de fijación se entrena mediante aprendizaje por refuerzo con una recompensa geométrica basada en las posiciones de los objetos detectados, lo que permite realizar un seguimiento 3D preciso de los objetos indicados. En la segunda fase, el selector de objetivos se entrena mediante aprendizaje por refuerzo dentro de un ciclo de clonación conductual y aprendizaje por refuerzo: se entrena conjuntamente una política de clonación conductual para la pinza con las vistas resultantes de las fijaciones, y se recompensa al selector por las fijaciones que maximizan la precisión de predicción de acciones de la política de clonación conductual. Esta formulación jerárquica permite que surja un comportamiento de mirada dependiente de la tarea sin especificación manual por parte de una persona.
Experimentos
EyeRobot 2.0 se implementa con un manipulador I2RT YAM bimanual de 14 grados de libertad, equipado con pinzas de mordazas paralelas. Montamos una cámara estéreo fija entre los brazos, a 35 cm por encima de la articulación de la base y orientada 45° hacia abajo para observar por completo la mesa. Cada ojo capta un campo de visión diagonal de 120° con una resolución no especificada en el texto proporcionado. Utilizamos un brazo maestro personalizado, modificado a partir de GELLO y TRLC, para teleoperar el robot.
Resultados
Evaluamos el rendimiento de EyeRobot 2.0 frente a referencias de vanguardia. Para realizar comparaciones controladas con rigor, recopilamos todos los datos y entrenamos todas las políticas desde cero con exactamente las mismas demostraciones. Así se evita la opacidad causada por distribuciones de preentrenamiento desconocidas en modelos disponibles, se reduce la demanda de cómputo y se multiplica por un orden de magnitud el volumen de experimentos que se pueden llevar a cabo.
Evaluación en el mundo real
Entrenamos cada política con tres semillas y seleccionamos una al azar para la evaluación. Para cada tarea, evaluamos todas las políticas en 25 configuraciones de escena, seleccionadas al colocar los objetos dentro de la región cubierta por los datos de entrenamiento, pero sin reproducir exactamente los puntos de datos de entrenamiento. Durante la evaluación, superponemos la transmisión en directo de la cámara a las posiciones de prueba y alineamos manualmente los objetos para que todas las políticas compartan exactamente las mismas posiciones de prueba. En el conjunto de pruebas físicas del mundo real con referencias y ablaciones, evaluamos más de 1,000 ejecuciones de políticas.
Evaluación en simulación
Entrenamos cada política de referencia y de EyeRobot 2.0 con tres semillas; informamos del rendimiento máximo para descartar las semillas fallidas. Todas las evaluaciones de simulación se realizan con las mismas 100 configuraciones aleatorias, no vistas durante el entrenamiento, pero extraídas de la misma distribución. Cada política se entrena desde cero con datos de una sola tarea y se ejecuta con los mismos pesos de ensamblado temporal y el mismo código de inferencia.
La política de mirada dispone de un segundo para estabilizarla antes de actuar. El éxito de cada etapa se determina mediante programación, según requisitos físicos de MuJoCo especificados manualmente, y cada tarea tiene un tiempo límite de fallo basado en la duración media de las demostraciones.
Estudios de ablación
Realizamos una ablación de la pirámide de imágenes multiescala y entrenamos las políticas de mirada y de pinza con una única vista periférica para cada ojo. En conjunto, esto perjudica el rendimiento en un 20%, con la mayor diferencia en tareas físicas de precisión que requieren comprender imágenes detalladas.
En simulación, esta ablación obtiene el mismo rendimiento que EyeRobot 2.0. Esto podría deberse a que la ejecución del robot en simulación presenta poca o ninguna variación, mientras que la ejecución en el mundo real cambia de un ensayo a otro y, por lo tanto, exige más servocontrol visual de bucle cerrado.
Limitaciones y trabajo futuro
Actualmente, EyeRobot 2.0 solo entrena políticas de mirada y de pinza específicas para cada tarea. Una posible línea de trabajo futuro es investigar cómo adaptar el marco para mantener el rendimiento en varias tareas. Al utilizar un selector de objetivos, habría que entrenar la mirada con un corpus suficientemente amplio para admitir instrucciones genéricas, lo que podría requerir arquitecturas diferentes para generar instrucciones, como un modelo de visión y lenguaje.
Este trabajo no controla el movimiento de la cabeza ni del cuello; propone cómo coordinar movimientos oculares detallados cuando ya se dispone de una buena posición de la cabeza. Por último, aunque el preentrenamiento a nivel de objeto es suficiente para muchas tareas de manipulación, todavía no permite entrenar la mirada a nivel de subobjeto, lo que podría aportar beneficios adicionales para la manipulación.
Conclusión
EyeRobot 2.0 es un marco de aprendizaje robótico para la manipulación bimanual detallada que utiliza únicamente una cámara estéreo fija. Aprovecha la fijación visual activa para dirigir la atención hacia características pertinentes para la tarea. Los experimentos indican que la fijación activa aprovecha los datos estéreo de forma más eficaz que las referencias con estéreo no activo: las supera ampliamente en diversas tareas físicas de alta precisión e iguala o supera el rendimiento de las cámaras de muñeca.
La ablación de cualquiera de sus componentes reduce el rendimiento, lo que indica que EyeRobot 2.0 utiliza entradas de imagen multirresolución, acciones centradas en la fijación e información estéreo para facilitar la manipulación detallada en el mundo real. Esto apunta al potencial de sistemas que utilicen la fijación visual activa para la manipulación detallada en lugar de cámaras de muñeca.
Hiperparámetros seleccionados
Todo el código de entrenamiento se publicará para facilitar la reproducibilidad; aquí se indican algunos hiperparámetros importantes.
La política de mirada discretiza su espacio de acciones y genera una distribución categórica de producto cruzado. El acimut y la elevación se dividen en ocho direcciones polares, con dos magnitudes para cada dirección (10° y 3°), además de una acción nula. Los incrementos de profundidad se dividen en tres magnitudes (10 cm, 5 cm y 1 cm) y una acción nula. El espacio de acciones de producto cruzado resultante tiene 119 categorías para la salida de la política. Se prefieren los espacios de acciones discretizados porque ayudan a resolver empates en acciones ambiguas, como cuando hay objetos duplicados.
Distribución de prueba
Las políticas se evalúan con exactamente las mismas posiciones, dentro del margen de error humano al colocar los objetos, alineando sus posiciones con una superposición de la posición actual y la posición de prueba.
Objetos distractores
Para los experimentos con distractores, seguimos el mismo procedimiento que en las evaluaciones completas: registramos 25 posiciones de los objetos de prueba y de los objetos distractores, y las repetimos exactamente para todos los modelos.
Criterios de éxito por etapa para las tareas reales
En todas las etapas, permitimos tres reintentos antes de contabilizar una etapa como fallida. También contabilizamos un fallo si el robot deja de moverse durante más de 10 segundos.
- Recoger la cinta amarilla: El robot debe agarrar la cinta amarilla y levantarla por completo de la mesa sin dejarla caer antes de la siguiente etapa.
- Traspaso: El robot debe transferir correctamente la cinta amarilla a la pinza derecha sin dejarla caer.
- Colocación: El robot debe colocar la cinta amarilla encima de la cinta gris sin que se caiga ni se incline. La posición en reposo debe ser estable, con el centro de gravedad totalmente apoyado sobre el rollo de cinta gris.
Preguntas frecuentes
¿Qué es la Fijación Visual Activa? Es un método aprendido que dirige la mirada del robot hacia objetos y características pertinentes para la tarea.
¿Qué configuración de cámara utiliza EyeRobot 2.0? Utiliza únicamente la información de una cámara estéreo fija montada entre los brazos del robot.
¿Cómo se compara el rendimiento de EyeRobot 2.0 con el de los sistemas con cámaras de muñeca? Iguala su rendimiento en las pruebas físicas y mantiene un rendimiento alto en tareas en las que las cámaras de muñeca están muy ocluidas.
¿Cuáles son las principales limitaciones descritas? Actualmente, el marco entrena políticas específicas para cada tarea, no controla el movimiento de la cabeza ni del cuello y todavía no puede entrenar la mirada a nivel de subobjeto.