Para los seres humanos, ensamblar piezas hasta obtener un producto final es una tarea trivial. Sin embargo, lograr un nivel de destreza similar en un robot sigue siendo un desafío complejo. La investigación sobre ensamblaje robótico abarca múltiples ámbitos, con aplicaciones diversas y restricciones variables: la fabricación robótica, los robots de servicio, los robots y las aplicaciones médicas, la exploración espacial, la reconstrucción de piezas fracturadas en arqueología, y la reparación y restauración. A pesar de la extensa investigación realizada, la demanda de capacidades avanzadas de ensamblaje en robots no deja de crecer. Aunque las investigaciones actuales abordan estos desafíos mediante percepción visual y aprendizaje por refuerzo, sigue siendo discutible que estos sistemas manifiesten el comportamiento de un robot inteligente consciente de la tarea de ensamblaje. Para dotar a la manipulación robótica de esta capacidad, se introducen la conciencia de la tarea de ensamblaje y un método de aprendizaje de extremo a extremo.
Introducción
Las herramientas de visión artificial, como la detección y clasificación de objetos y la segmentación semántica, son fundamentales para dotar de percepción a los robots. Aunque proporcionan una comprensión básica de la escena, la manipulación robótica requiere comprender el entorno del robot en tres dimensiones. Por ello, la estimación de la pose de objetos en 6 grados de libertad (6-DoF) se consolidó como un componente esencial de la percepción robótica y pasó a desempeñar un papel central en el agarre y la colocación de objetos.
Sin embargo, una tarea de ensamblaje con múltiples objetos exige una conciencia contextual más amplia. La conciencia espacial es crucial para localizar las poses de los objetos antes y después del ensamblaje. Ensamblar los objetos en una secuencia óptima requiere conciencia temporal. La conciencia de las relaciones entre piezas determina la coherencia estructural del ensamblaje final. Además, comprender la estabilidad bajo la gravedad es esencial para garantizar la viabilidad física.
Estas observaciones definen los componentes principales de la conciencia de tarea necesarios para un ensamblaje progresivo. Esta capacidad puede interpretarse como la facultad de una entidad para percibir una configuración de ensamblaje y razonar sobre sus dependencias espaciales, temporales y relacionales. Un módulo capaz de aprender a producir salidas accionables y conscientes del ensamblaje resulta sumamente beneficioso para la manipulación robótica. Esto es fundamental para la robótica moderna, ya que permite superar las capacidades de manipulación primitivas de recoger y colocar objetos y avanzar hacia una manipulación consciente de la tarea.
Con este objetivo, se presenta PVRA, un marco de votación de puntos clave puntuales para el ensamblaje robótico. Sus principales contribuciones son:
- Un marco modular de aprendizaje basado en puntos clave 3D para dotar a los robots de conciencia de la tarea de ensamblaje.
- Un conjunto ampliado de métricas para evaluar la segmentación de roles y la estimación de poses conscientes del ensamblaje.
- La implementación y evaluación del marco propuesto en un conjunto de datos propio de ensamblaje de objetos.
- Una evaluación comparativa del modelo propuesto frente a líneas base centradas en objetos.
Estimación de la pose de ensamblaje
Dado un conjunto de piezas o componentes, la estimación de la pose de ensamblaje (APE) consiste en inferir la pose del objeto objetivo en 6 grados de libertad dentro del producto ensamblado, respetando las restricciones del ensamblaje. Cuando no se dispone de conocimiento previo sobre la semántica de las piezas, APE puede definirse como ensamblaje generalizado de piezas.
El ensamblaje generalizado de piezas permite ensamblar objetos nuevos o no vistos a partir de un ensamblaje objetivo. GPAT aborda este problema mediante la segmentación del objetivo: la red segmenta explícitamente el plano del objetivo e infiere las poses de ensamblaje. Sin embargo, GPAT presupone una APE global de un solo paso, lo que ignora los pasos intermedios de una tarea de ensamblaje progresivo. Esto perjudica la viabilidad y la precisión de dicha tarea, debido a la falta de razonamiento progresivo y de incorporación de restricciones físicas.
Método propuesto
PVRA es un modelo supervisado de nubes de puntos RGB-D para el ensamblaje progresivo, bajo los supuestos específicos descritos en el artículo.
El método recibe como entrada una escena de ensamblaje en RGB-D y extrae características para aprender una correspondencia que genere salidas accionables conscientes de la tarea de ensamblaje. Estas salidas incluyen:
- Roles semánticos punto por punto: objetivo, base y fondo.
- La pose del objeto objetivo en 6 grados de libertad.
- La pose de ensamblaje en 6 grados de libertad.
El modelo PVRA no representa un controlador completo capaz de ejecutar una tarea de ensamblaje. En cambio, predice salidas accionables y conscientes de la tarea que permiten a un agente autónomo realizar, mediante módulos posteriores, la acción de ensamblaje correspondiente al paso actual de un ensamblaje progresivo.
El modelo comparte con PVN3D una estrategia de fusión de características RGB-D, pero adopta cabezales de predicción y un esquema de supervisión orientados a la tarea de ensamblaje progresivo.
Configuración experimental
PVRA se entrena y valida con el conjunto de datos de ensamblaje progresivo del reductor de engranajes Nema17. El conjunto contiene escenas de ensamblaje simuladas con poses reales de los objetos, poses de ensamblaje, fotogramas RGB-D de cada paso de ensamblaje y archivos CAD de los objetos asociados.
El conjunto de datos consta de 431 instancias de ensamblaje, cada una con cinco objetos y cuatro pasos de ensamblaje. Esto da lugar a 8.620 instancias, que se emplean para generar una partición de entrenamiento del 60 %, una de validación del 20 % y una de prueba del 20 %.
La red se entrenó en un clúster de computación de alto rendimiento compuesto por cuatro GPU NVIDIA Tesla V100, con 128 GB de VRAM. El código fuente está disponible en un repositorio de GitHub.
Métricas
Precisión de segmentación de pasos
La precisión de segmentación de pasos (SSA) mide la precisión de la segmentación a nivel de paso de ensamblaje mediante la intersección sobre unión (IoU) media de los roles de objetivo y base. Refleja la capacidad de PVRA para identificar los objetos objetivo y base activos con conciencia temporal y relacional.
Precisión de localización de pasos
La precisión de localización de pasos (SLA) mide la precisión de la pose mediante la distancia máxima entre superficies consciente de la simetría (MSSD) normalizada. Se declaran simetrías locales continuas para todos los objetos Nema17, de modo que las rotaciones equivalentes no sean penalizadas.
La fórmula utiliza el diámetro del objeto objetivo para normalizar el error de distancia entre superficies consciente de la simetría.
Discusión
La evaluación utiliza un conjunto de datos sintético de ensamblaje progresivo. Una implementación en el mundo real podría introducir desafíos adicionales, como el ruido de los sensores, errores de calibración, reflejos y condiciones de iluminación variables.
Aunque la transferibilidad entre dominios sigue siendo una línea de investigación futura, la comparación de referencia basada en simulación aporta un punto de referencia reproducible e importante para el ensamblaje progresivo basado en percepción. Como se desprende del estudio de la literatura, son escasos los conjuntos de datos estructurados del mundo real que representan ensamblajes progresivos. Esto se debe a la complejidad de capturar fotogramas RGB-D sincronizados y poses anotadas en 6 grados de libertad en entornos reales.
Por tanto, este entorno controlado es esencial para aislar la cuestión metodológica: ¿puede un modelo consciente del contexto de ensamblaje alcanzar un rendimiento comparable al de los métodos existentes de estimación de poses centrados en objetos?
Conclusión
Este trabajo presentó un marco consciente de la tarea y basado en puntos clave para el ensamblaje robótico progresivo, junto con una evaluación cuantitativa frente a métodos de percepción existentes centrados en objetos. La evaluación confirma que el modelo puede aprender dependencias específicas de la tarea de ensamblaje y producir salidas accionables precisas para la manipulación robótica.
Además, este trabajo impulsa la extensión de la conciencia específica del ensamblaje hacia un aprendizaje más amplio de la conciencia específica de las tareas, lo que podría beneficiar a numerosas aplicaciones de manipulación robótica más allá del ámbito del ensamblaje progresivo.
El proyecto recibió financiación del Programa de Tecnología del Helsinki Institute of Physics a través del proyecto ROBOT y del Research Council of Finland, mediante la subvención 369003, a través del proyecto PERFORM. Los autores agradecen a CSC—IT Center for Science, Finland, los recursos computacionales proporcionados.
Preguntas frecuentes
¿Qué es PVRA?
PVRA es un marco supervisado de nubes de puntos RGB-D que utiliza aprendizaje basado en puntos clave 3D para el ensamblaje robótico progresivo.
¿Qué salidas predice PVRA?
PVRA predice roles semánticos punto por punto, la pose del objeto objetivo en 6 grados de libertad y su pose de ensamblaje en 6 grados de libertad.
¿Qué conjunto de datos se utiliza para evaluar PVRA?
El marco se evalúa con el conjunto de datos de ensamblaje progresivo del reductor de engranajes Nema17, que contiene escenas simuladas, fotogramas RGB-D, poses de objetos, poses de ensamblaje y archivos CAD.
¿Qué desafíos pueden afectar a la implementación en el mundo real?
La implementación en el mundo real puede verse afectada por el ruido de los sensores, errores de calibración, reflejos y cambios en las condiciones de iluminación.