Tareas cotidianas como transportar cajas, levantar bandejas y mover sillas requieren de forma natural una interacción coordinada entre dos brazos robóticos para sujetarlas, estabilizarlas y manipularlas. Al distribuir los contactos entre ambos manipuladores, el agarre bimanual mejora la estabilidad y el reparto de cargas, lo que permite manipular objetos voluminosos de forma robusta, incluso cuando un solo brazo produciría interacciones inestables. A pesar de su importancia, son relativamente pocos los trabajos que han explorado la generación de agarres bimanuales mediante aprendizaje, especialmente en situaciones de observación parcial.
Introducción
Para abordar estos retos, PartialBiGrasp genera agarres estables con ambos brazos directamente a partir de una única observación RGB-D. En lugar de depender de una geometría completa del objeto o de una reconstrucción explícita de su forma, el método razona sobre la geometría local oculta para predecir pares de agarre equilibrados en fuerza y libres de colisiones para objetos grandes con pocas regiones susceptibles de agarre.
Según el conocimiento de los autores, PartialBiGrasp es el primer marco para generar agarres bimanuales sobre nubes de puntos parciales obtenidas desde una sola vista. El método descompone la tarea en generación de agarres individuales, emparejamiento de agarres basado en cierre de fuerzas y refinamiento condicionado por la geometría local, lo que permite generar de manera eficiente agarres bimanuales estables a partir de observaciones parciales.
El método introduce un flujo de razonamiento geométrico condicionado por ocupación que aprovecha redes convolucionales de ocupación y características locales alineadas con el agarre para inferir implícitamente la posibilidad de agarre, la geometría local del objeto, las regiones de contacto libres de colisiones y la viabilidad del efector, junto con un procedimiento de refinamiento basado en muestreo para mejorar la calidad de los agarres.
El enfoque se evalúa mediante validación analítica del cierre de fuerzas, experimentos de simulación a gran escala y despliegue en robots reales. Los resultados demuestran una generación robusta de agarres bimanuales y una manipulación satisfactoria en diversos escenarios con objetos grandes.
Síntesis de agarres con dos brazos
Mediante la representación geométrica implícita descrita anteriormente, los agarres bimanuales se generan en dos etapas. Primero, se predicen candidatos de agarre factibles para un solo brazo a partir de la geometría observada del objeto. Después, los pares de candidatos se evalúan utilizando un evaluador aprendido de cierre de fuerzas.
Configuración experimental
Todos los modelos se entrenan con el conjunto de datos DG16M. El entrenamiento se lleva a cabo en tres etapas.
Primero, el Global Geometry Encoder y las cabezas de síntesis de agarres individuales se entrenan conjuntamente mediante supervisión de ocupación, supervisión de la pose de agarre y supervisión de las regiones de posibilidad de agarre, derivada de los contactos válidos del conjunto DG16M.
A continuación, el Dual-Grasp Critic se entrena para clasificar si los pares de agarre candidatos cumplen las restricciones de cierre de fuerzas.
Por último, el Local Geometry Encoder se entrena mediante supervisión de ocupación local para permitir el refinamiento de agarres guiado por ocupación en situaciones de observación parcial.
El marco se prueba con una partición no vista de DG16M y con una colección de objetos reales capturados mediante una RealSense D455, para los que se crearon gemelos digitales. Todos los experimentos se realizan en una única GPU NVIDIA RTX 3090.
Limitaciones
El marco no modela explícitamente la alcanzabilidad del agarre ni la viabilidad del movimiento para una configuración robótica concreta durante la generación de agarres. Como consecuencia, algunos pares de agarre predichos pueden ser inviables en sistemas de dos brazos debido a restricciones cinemáticas o colisiones entre los brazos, por lo que un planificador de movimiento debe validarlos y ejecutarlos durante el despliegue.
Conjunto de datos
El método se entrena y evalúa con el conjunto de datos DG16M, que contiene 4.142 mallas de objetos grandes de ShapeNet, anotadas con aproximadamente 2.000 pares de agarres bimanuales positivos y negativos por objeto, generados mediante una evaluación analítica del cierre de fuerzas.
Se reservan 300 objetos para las pruebas y el resto se utiliza para el entrenamiento. Para cada objeto, las observaciones parciales desde una sola vista se generan renderizando imágenes RGB-D desde puntos de vista seleccionados aleatoriamente y convirtiendo las mediciones de profundidad visibles, enmascaradas por el objeto, en nubes de puntos parciales. Todos los resultados cuantitativos se presentan sobre esta partición de prueba no vista.
Para entrenar el módulo de generación de agarres individuales, se extraen los agarres individuales válidos y únicos de los pares de agarre proporcionados por DG16M. Las poses de agarre y las ubicaciones de contacto resultantes se utilizan como supervisión para la regresión de la pose de agarre.
Las etiquetas de posibilidad de agarre se derivan de estas ubicaciones de contacto. Las muestras positivas corresponden a contactos válidos de agarres individuales, mientras que las negativas se extraen de regiones a las que un mapa anotado de posibilidad de agarre asigna una puntuación de cero. El mapa se construye propagando las puntuaciones de posibilidad de agarre desde las ubicaciones de contacto válidas de agarres individuales en DG16M mediante una función de ponderación basada en la distancia sobre la superficie del objeto.
Detalles de las líneas base
Primero se utiliza ContactGraspNet para generar candidatos de agarre con un solo brazo a partir de la nube de puntos parcial observada. Los candidatos con puntuaciones altas se filtran según la calidad de agarre predicha. Después, el muestreo de puntos más alejados obtiene un conjunto espacialmente diverso de candidatos de agarre, junto con las características de los puntos correspondientes.
Se evalúan dos estrategias de emparejamiento.
Emparejamiento basado en un clasificador
Se entrena un clasificador binario de pares de agarre utilizando las anotaciones de cierre de fuerzas de DG16M. Para cada observación visible, los pares de agarre de referencia se emparejan con los candidatos de agarre visibles más cercanos de ContactGraspNet. Las características de los puntos correspondientes se concatenan y se utilizan para predecir si el par cumple las restricciones de cierre de fuerzas.
Durante la inferencia, el clasificador puntúa todos los pares de candidatos y se conservan los pares candidatos con mayor puntuación.
Resultados
La evaluación utiliza el cierre de fuerzas (FC%), la tasa de éxito del agarre (GS%) y la tasa de colisiones entre pares (PC%).
- FC% mide el porcentaje medio de pares de agarre predichos que cumplen las restricciones analíticas de cierre de fuerzas.
- GS% mide el porcentaje medio de pares de agarre predichos que consiguen levantar y sostener el objeto en simulación.
- PC% mide el porcentaje medio de pares de agarre predichos que colisionan con la geometría del objeto.
Un FC% y un GS% más altos indican una mejor calidad de los pares de agarre, mientras que un PC% más bajo indica una mayor viabilidad geométrica.
La cobertura mide hasta qué punto el conjunto de pares de agarre válidos según el cierre de fuerzas abarca las regiones susceptibles de agarre del objeto.
La cobertura se basa en el número de puntos positivos de posibilidad de agarre encerrados por el volumen situado entre los dos efectores en todos los pares de agarre válidos según el cierre de fuerzas, dividido por el número total de puntos positivos de posibilidad de agarre.
Demostración en el mundo real
Todos los experimentos en el mundo real se realizan sobre una plataforma heterogénea de dos brazos, formada por un xArm7 y un xArm6 Lite equipados con pinzas paralelas. Una cámara RGB-D RealSense D455 está montada sobre el espacio de trabajo y proporciona las observaciones RGB-D desde una sola vista que utiliza el flujo de agarre.
La calibración de la cámara se realiza mediante un tablero de marcadores ArUco colocado dentro del espacio de trabajo. Antes de ejecutarlos en la plataforma robótica, los agarres bimanuales generados se depuran para conservar únicamente los pares libres de colisiones y cinemáticamente alcanzables.
A continuación, los agarres resultantes se ejecutan para evaluar la transferencia de simulación a realidad con observaciones parciales y geometrías de objetos no vistas anteriormente.
Preguntas frecuentes
¿Qué problema aborda PartialBiGrasp? Genera agarres bimanuales estables para objetos grandes a partir de una observación RGB-D parcial desde una sola vista.
¿Cómo gestiona el método la geometría oculta de los objetos? Utiliza razonamiento geométrico condicionado por ocupación y características de la geometría local para inferir implícitamente la posibilidad de agarre, las regiones de contacto y los refinamientos de agarre libres de colisiones.
¿Qué conjunto de datos se utiliza para el entrenamiento y la evaluación? El método utiliza DG16M, que contiene 4.142 mallas de objetos grandes con aproximadamente 2.000 pares de agarres bimanuales positivos y negativos por objeto.
¿Cuál es una limitación del marco? No modela explícitamente la alcanzabilidad ni la viabilidad del movimiento específicas de cada configuración robótica, por lo que se necesita un planificador de movimiento para validar y ejecutar algunos de los pares de agarre predichos.