El agarre robótico es una de las capacidades fundamentales necesarias para la manipulación autónoma de objetos. En robots humanoides, esta tarea requiere la integración de percepción visual, localización de objetos, cinemática inversa (IK) y control de la mano. Incluso cuando un robot puede alcanzar con precisión un punto objetivo en simulación, el mismo movimiento puede fallar en la plataforma física debido a la brecha sim-to-real causada por inexactitudes mecánicas, imperfecciones en los actuadores, ruido de sensores o suposiciones simplificadas en el modelo del robot.
Abordamos este problema en nuestro trabajo anterior introduciendo un método de calibración de bajo costo basado en retroalimentación háptica de una pantalla táctil. El robot tocaba un conjunto de puntos objetivo en la pantalla, y las posiciones de contacto registradas se usaban para entrenar modelos de corrección que mapeaban posiciones objetivo del mundo real a coordenadas simuladas adecuadas. Este enfoque mejoró la precisión de alcance del robot humanoide Neuro-Inspired COmpanion (NICO). Sin embargo, alcanzar un punto es solo el primer paso hacia una manipulación exitosa, ya que el agarre además requiere detección de objetos, localización, posicionamiento de la mano y ejecución confiable del agarre.
Trabajo relacionado
Varios estudios abordan directamente la transferencia sim-to-real en agarre robótico. James et al. utilizaron adaptación aleatoria a canónica para agarre sim-to-real eficiente en datos, mientras que Gäde et al. aplicaron aleatorización de dominio y adaptación de dominio al agarre visomotor con el robot humanoide NICO. En comparación con estos enfoques, nuestro trabajo no entrena una política de agarre de extremo a extremo, sino que utiliza localización explícita, IK y corrección basada en calibración.
Materiales y métodos
Este trabajo se basa directamente en nuestro enfoque de calibración anterior. Utilizamos la misma plataforma robótica, software de control de simulación y modelos de corrección calibrados, que fueron adaptados y desarrollados para los requisitos de la tarea de agarre sobre una mesa.
Configuración robótica y software
Los experimentos se realizaron con el robot humanoide NICO, utilizando su brazo derecho y una mano de tamaño infantil de cuatro dedos. Una cuadrícula de papel proporcionó una pseudo verdad fundamental para colocar objetos y evaluar el rendimiento de agarre en el área alcanzable del robot. Para la percepción visual, utilizamos el sistema de cámara estéreo integrado del robot, que proporciona imágenes ojo de pez de baja resolución de 640x480 píxeles.
Modelos de calibración
Para reducir la discrepancia entre las posiciones objetivo en el espacio de trabajo real y las posiciones correspondientes utilizadas por el simulador y el módulo IK, utilizamos tres modelos de calibración. En la tarea de agarre, estos modelos transforman la posición estimada del objeto sobre la mesa en una posición objetivo corregida para la mano del robot.
El modelo base M1 utiliza un mapeo lineal por partes basado en la simulación alineada manualmente y la interpolación de valores de altura medidos. M2 es un modelo de corrección de red neuronal parcialmente no lineal, donde las coordenadas horizontales del objetivo son predichas por un perceptrón multicapa (MLP), mientras que la componente de altura todavía se obtiene mediante interpolación. M3 es un modelo de red neuronal completamente no lineal que predice directamente la posición objetivo tridimensional corregida. En nuestro trabajo anterior se proporciona una descripción detallada del procedimiento de calibración, entrenamiento del modelo y evaluación de alcance.
En este artículo, los modelos no se reentrenan, sino que se utilizan como módulos de corrección dentro del pipeline de agarre. Esto nos permite evaluar si los modelos de calibración optimizados para alcance 2D también pueden mejorar el agarre de objetos, donde pequeños errores residuales de posicionamiento pueden tener un mayor efecto en el éxito de la tarea.
Alineación de la mano mediante retroalimentación visual
Además de los modelos de calibración, implementamos un método de retroalimentación visual para alinear la mano del robot con el objeto detectado antes de agarrar. Primero, el robot estima la posición del objeto usando el módulo de visión y mueve la mano a una posición aproximada sobre el objeto. Luego, el módulo de visión se usa nuevamente para detectar la mano del robot y reconstruir su posición usando visión estéreo.
El tamaño del paso se reduce gradualmente a medida que disminuye la distancia. Esto evita grandes oscilaciones cuando la mano ya está cerca del objeto. La alineación se repite hasta que la distancia horizontal entre la posición detectada de la mano y la posición del objeto está por debajo de un umbral predefinido (establecido en 1 cm). Luego, la mano se baja hacia el objeto y se ejecuta el agarre cerrando los dedos.
Para hacer que la detección de la mano sea más confiable, también ajustamos la pose de la mano durante la etapa de alineación. La palma se giró hacia la cámara para que el detector pudiera observar la parte central de la palma de manera más consistente antes de estimar la posición de la mano. Esto evitó efectivamente fallos de detección de YOLO a pesar del mAP general más bajo para las manos.
Este método sirvió como M4 en nuestra comparación. A diferencia de los modelos de corrección M2 y M3, no utilizó corrección del objetivo basada en calibración, sino que se basó solo en retroalimentación visual para alinear la mano con el objeto antes de agarrar.
Pipeline de agarre y evaluación experimental
Para una ejecución exitosa del agarre, también aplicamos dos correcciones específicas de la tarea: la corrección vertical del objetivo y la corrección del cabeceo de la palma. Se midieron manualmente valores z y ángulos de guiñada adecuados en un conjunto irregular de puntos de referencia distribuidos en el espacio de trabajo del robot. Para posiciones objetivo arbitrarias, ambos valores se estimaron luego mediante interpolación con funciones de base radial (RBF). Los ángulos de alabeo y cabeceo de la palma se mantuvieron fijos para mantener una postura de agarre desde arriba.
El pipeline completo de agarre comienza con una imagen capturada por las cámaras del robot. El detector YOLO proporciona la posición del objeto en coordenadas de imagen, que luego es utilizada por el módulo de visión estéreo para estimar la profundidad. El punto detectado se transforma al marco de coordenadas del robot usando la cadena cinemática de la cabeza del robot. Esta posición objetivo del mundo real se transforma luego en una posición objetivo simulada usando uno de los modelos de corrección. Finalmente, la corrección de guiñada proporciona la orientación de la palma, el solucionador IK calcula los ángulos de articulación requeridos y el movimiento se ejecuta en el robot real a través de la biblioteca NicoMotion.
Evaluamos cuatro enfoques de agarre usando los modelos M1 a M4. El tomate de peluche se colocó en 22 posiciones de la cuadrícula distribuidas en el espacio de trabajo alcanzable del brazo del robot. Para cada posición y cada modelo, se realizaron tres intentos de agarre, lo que resultó en 66 intentos por modelo. Además de la tasa de éxito general de agarre, también evaluamos la tasa de éxito dentro del área de corrección original de la red neuronal, que contenía 10 posiciones objetivo. Esto nos permitió comparar tanto el rendimiento en la región calibrada como la generalización de los modelos en todo el espacio de trabajo de la mesa.
Resultados de agarre basado en calibración
Para verificar esta hipótesis, visualizamos las predicciones producidas por la red neuronal en M3, incluyendo puntos fuera del área de corrección de la red neuronal (NN). El desplazamiento medio entre las posiciones objetivo de entrada y las posiciones simuladas predichas fue de solo 2.14 cm dentro del área de corrección, pero aumentó a 5.45 cm fuera de ella. Por lo tanto, las predicciones confirman que M3 extrapoló mal en una gran parte del espacio de trabajo de la mesa, generalmente sobrepasando la corrección requerida. La única excepción fue la región a la izquierda del área original de la pantalla táctil, donde las predicciones siguieron la misma tendencia que dentro de la región calibrada, lo que también explica por qué varios intentos de agarre en esta parte del espacio de trabajo fueron exitosos.
Retroalimentación visual y comparación general
El modelo de alineación de la mano mediante retroalimentación visual se evaluó como una alternativa a los modelos de corrección basados en calibración. A diferencia de M2 y M3, no utilizó la corrección del objetivo calibrada, sino que se basó solo en retroalimentación visual para alinear la posición detectada de la mano con la posición detectada del objeto antes de agarrar. Este enfoque mejoró el rendimiento de agarre en todo el espacio de trabajo de la mesa. Los agarres exitosos ya no se concentraron solo dentro del área de corrección de la red neuronal, sino que también aparecieron en regiones fuera del área original de la pantalla táctil. En general, este modelo logró una tasa de éxito del 72.7%, correspondiente a 48 agarres exitosos de 66 intentos.
El modelo M2 logró un rendimiento inferior al de M3, lo cual es consistente con los resultados de alcance reportados en nuestro trabajo anterior. Dentro del área de corrección de la red neuronal, el mejor resultado lo obtuvo M3 con una tasa de éxito del 96.7%. En todo el espacio de trabajo probado, el mejor resultado lo obtuvo el modelo de retroalimentación visual con una tasa de éxito del 72.7%.
Discusión
La comparación directa con otros estudios de agarre robótico es difícil, ya que las plataformas, objetos, sensores y protocolos de evaluación difieren sustancialmente. El trabajo más comparable es donde se evaluó el agarre sim-to-real en el robot NICO, pero con agarre lateral de un objeto cilíndrico usando la mano izquierda. Su mejor modelo logró una tasa de éxito del 80.3% utilizando adaptación de dominio e IK inherente. Nuestro modelo de retroalimentación visual logró un 72.7% en general, mientras que el modelo de calibración completamente no lineal M3 alcanzó un 96.7% dentro del área de corrección NN calibrada.
La principal limitación del modelo de retroalimentación visual fue la localización de la mano basada en visión estéreo. En varias posiciones, la posición de la mano se sobreestimó fuertemente cuando el fondo detrás de la mano estaba demasiado lejos del robot. Esto redujo la tasa de éxito general, aunque el rendimiento se mantuvo alto cuando la localización de la mano era correcta. Mejorar la segmentación de la mano o la estimación de profundidad probablemente mejoraría aún más el modelo.
En resumen, implementamos un pipeline de agarre de bajo costo que combina detección de objetos, localización por visión estéreo y control IK calibrado sin cámaras RGB-D, captura de movimiento o seguimiento externo. Aunque se utilizaron correcciones específicas de la tarea para compensar inexactitudes mecánicas, la metodología subyacente sigue siendo generalizable. Los resultados muestran que la calibración háptica desarrollada para alcance 2D también puede mejorar el agarre de objetos, mientras que la retroalimentación visual proporciona una alternativa efectiva cuando no se utiliza la corrección basada en calibración.
Agradecemos a los revisores anónimos por sus detallados comentarios. I.F. fue apoyado por la Agencia Eslovaca de Investigación y Desarrollo, proyecto APVV-21-0105.
Preguntas frecuentes
¿Qué es la brecha sim-to-real y por qué afecta el agarre de NICO? La brecha sim-to-real se refiere a las diferencias entre la simulación y el hardware físico causadas por inexactitudes mecánicas, imperfecciones en los actuadores y ruido de sensores. Estas discrepancias hacen que movimientos que funcionan perfectamente en simulación fallen en el robot real.
¿En qué se diferencian los modelos de calibración M1, M2 y M3 entre sí? M1 utiliza una simple interpolación lineal por partes, M2 combina una red neuronal para la corrección horizontal con interpolación para la altura, y M3 es una red neuronal completamente no lineal que predice directamente las tres coordenadas del objetivo a partir de la posición del mundo real.
¿Por qué el modelo de retroalimentación visual M4 logró un éxito general mejor que los modelos de calibración? M4 utilizó alineación visual iterativa de la mano con el objeto antes de agarrar, que funcionó en todo el espacio de trabajo. Los modelos de calibración M2 y M3 solo funcionaron bien dentro del área limitada donde fueron entrenados con datos de pantalla táctil.
¿Cuál es la principal limitación del enfoque de retroalimentación visual? La localización de la mano basada en visión estéreo a veces sobreestima la posición de la mano cuando el fondo detrás de la mano está demasiado lejos del robot. Esto causa errores de alineación y reduce la tasa de éxito de agarre en esas posiciones.