Se presenta una plataforma de evaluación comparativa hardware-software para manipulación diestra industrial, que consta de tres placas IDB (Industrial Dexterity Benchmark) diseñadas a medida para switches de fibra óptica en centros de datos, arneses de cables automotrices y ensamblaje de engranajes planetarios. El trabajo introduce DAG-ROS, un marco de aprendizaje por imitación basado en ROS2, y AG-iDP3, una arquitectura de políticas multimodales basada en difusión que fusiona imágenes RGB, nubes de puntos, estado articular y par de torsión de la muñeca. Se reportan resultados en la placa de manipulación de cables de centro de datos en seis configuraciones de sensores.
Introducción
Los entornos reales de centros de datos presentan racks de switches densamente poblados con separación de cables submilimétrica y enrutamiento en ángulos pronunciados. En tales entornos, incluso el mantenimiento rutinario, como la limpieza de conectores o el intercambio de cables, requiere una coordinación cuidadosa de percepción, planificación y control sensible al contacto para completar las tareas sin perturbar el entorno.
Este trabajo se originó a partir de esfuerzos para resolver el Tablero de Tareas de Ensamblaje #4 (ATB4) del Instituto Nacional de Estándares y Tecnología (NIST) utilizando visión por computadora clásica combinada con técnicas de control clásicas. Esa solución funcionó bajo condiciones controladas, pero resultó frágil y difícil de escalar, lo que impulsó el desarrollo de un nuevo estándar de evaluación comparativa que imitara mejor la variabilidad y los desafíos de los centros de datos reales.
Contribuciones y Esquema
Se describen tres contribuciones clave:
- Las Placas IDB, inspiradas en el conjunto de tableros de tareas de ensamblaje del NIST, que constan de tres placas de evaluación comparativa personalizadas para switches de fibra óptica en centros de datos (Placa IDB #1), arneses de cables automotrices (Placa IDB #2) y ensamblaje de engranajes planetarios (Placa IDB #3)
- DAG-ROS, un marco de aprendizaje por imitación basado en ROS2 que integra teleoperación, integración de sensores y subcomponentes, recolección de datos y control robótico de brazo en tiempo real
- AG-iDP3, un marco para políticas multimodales basadas en difusión desplegadas y encadenadas mediante una arquitectura de árbol de comportamiento basada en PyTrees, que toma imágenes RGB, nubes de puntos, estado articular y par de torsión de la muñeca del robot como entradas y genera acciones del robot
Políticas de Difusión para Manipulación
AG-iDP3 aborda las brechas en los enfoques existentes al fusionar estados articulares del robot, imágenes RGB, nubes de puntos 3D y par de torsión de la muñeca en una política de difusión unificada. Al incorporar un mecanismo de compuerta de modalidad, la arquitectura puede enmascarar selectivamente las entradas de los sensores durante el entrenamiento, permitiendo estudios de ablación en seis configuraciones de sensores distintas. Las políticas se entrenan con demostraciones reales de la tarea de limpieza de cables en la Placa IDB #1.
Evaluación Comparativa de Destreza Industrial (IDB)
Para permitir la evaluación sistemática y el desarrollo de políticas de extremo a extremo en tareas industrialmente relevantes, se diseñó una familia de plataformas de evaluación comparativa orientadas a desafíos específicos de manipulación industrial. El programa IDB comprende tres diseños de placas de evaluación: (1) Manipulación de Cables en Centro de Datos, (2) Arnés de Cables Automotriz y (3) Ensamblaje de Engranajes. Los tres siguen la filosofía del tablero de tareas de ensamblaje del NIST y se fabrican fácilmente mediante impresión 3D, corte láser y hardware estándar, con un costo total de unos pocos cientos de dólares. Los resultados reportados en este artículo se centran exclusivamente en la placa de Manipulación de Cables en Centro de Datos; los otros dos diseños se describen para completitud.
Diseño 2: Arnés de Cables Automotriz (Placa IDB #2)
La evaluación incluye ocho conectores (dos de 6 pines, seis de 2 pines) distribuidos a diferentes alturas, orientaciones y niveles de oclusión. Los conectores de 2 pines están equipados con LED que se iluminan al realizar una conexión eléctrica exitosa, proporcionando retroalimentación clara de aprobado/reprobado. Los receptáculos en el área cerrada tienen múltiples posiciones de montaje que permiten a los usuarios variar los niveles de dificultad usando la misma placa. Una opción de enrutamiento avanzada requiere pasar un cable a través de un recorte estrecho en la pared, lo que pone a prueba aún más la conciencia espacial y la coordinación bimanual robótica.
La puntuación evalúa tanto el éxito de conexión (ocho conectores, verificados por LED) como el cumplimiento del enrutamiento del cable (si los cables pasan a través de los clips de enrutamiento prescritos). No se impone límite de tiempo ni se penalizan los reintentos, lo que permite una separación clara entre capacidad y velocidad.
Diseño 3: Ensamblaje de Engranajes (Placa IDB #3)
La secuencia correcta para ensamblar con éxito el engranaje es la siguiente:
- Montar el marco anular en el motor paso a paso con cuatro tornillos M3 de 8 mm de longitud
- Insertar el engranaje solar en el eje del motor (alineación con chaveta en D)
- Colocar tres engranajes planetarios, asegurando el engrane tanto con el engranaje solar como con el anular
- Fijar la tapa del marco con cinco tornillos M3 de 12 mm de longitud
Para la puntuación, se otorgan puntos por subtareas relacionadas con la colocación y fijación. Se asigna un punto por cada uno de los siguientes criterios:
- Todos los pernos apretados de modo que no puedan girarse a mano
- Todos los engranajes planetarios engranando correctamente
- El conjunto portador girando libremente después de completarse
Arquitectura de Árbol de Comportamiento
Tres de los hijos del nodo raíz son nodos Paralelo (donde múltiples hijos se ejecutan concurrentemente), cada uno contiene un nodo de política y un nodo evaluador que se ejecutan concurrentemente. El evaluador es necesario porque las políticas de IA no terminan por sí solas, ya que las inferencias sucesivas generan nuevos fragmentos de acción indefinidamente. Cuando el evaluador devuelve éxito, se envía una solicitud de detención al nodo de política antes de que el nodo Paralelo padre devuelva éxito.
- Agarre — La política de IA localiza y agarra el conector en el rack. El evaluador detecta cuando la posición de la pinza cae por debajo de un umbral de cierre durante un tiempo preestablecido.
- Limpieza — La política de IA frota la cara del conector contra la almohadilla de limpieza. El evaluador detecta cuando la magnitud del par de contacto supera un umbral durante un tiempo preestablecido.
- Inserción — La política de IA alinea el conector con el receptáculo, lo inserta y luego abre la pinza. El evaluador detecta cuando la posición de la pinza supera un umbral de apertura durante un tiempo preestablecido.
Esta arquitectura híbrida combina políticas aprendidas para manipulación diestra con primitivas de movimiento clásicas para movimientos fiables y seguros, produciendo un sistema que equilibra adaptabilidad y fiabilidad aplicando cada método donde es más apropiado.
Hallazgos Clave
Las conclusiones principales de los experimentos son:
- Siempre que la política tenga contexto 3D disponible, ya sea a través de nubes de puntos o dos cámaras RGB que proporcionen diferentes perspectivas, la fase de agarre funciona bien con tasas de éxito que oscilan entre el 88% y el 98% en las cinco configuraciones que incluyen contexto 3D. Solo en la configuración de una sola RGB, donde el contexto 3D se elimina por completo, la tasa de éxito de agarre cae al 48%.
- Con la excepción de la línea base solo RGB, la inserción es la fase que diferencia las puntuaciones totales. En las configuraciones 1 a 5, la puntuación de inserción varía en 48 puntos porcentuales, mientras que el éxito de agarre solo varía en 10 puntos porcentuales.
- La mejor puntuación total (78%) se logra con la configuración RGB multivista (RGB muñeca + RGB escena) con R3M, que combina el fuerte comportamiento de agarre de la RGB de muñeca con el contexto de escena de alta resolución necesario para una alineación fina.
- En la comparación directa entre cámaras de escena, el EVAL-ADTF3175 ToF supera al RealSense D435i por 7 puntos porcentuales, lo que sugiere que el ToF indirecto es más adecuado para condiciones industriales de centros de datos.
- Las cuatro expansiones multimodales superan a la línea base DP de una sola cámara RGB (36% total), y el iDP3 solo con nube de puntos egocéntrica (52% total) replica el hallazgo de que una política de nube de puntos egocéntrica supera a una política RGB egocéntrica.
- Las tres fases de la tarea de limpieza de cables (agarre, limpieza e inserción) requirieron aproximadamente 100 demostraciones cada una para entrenar una política de buen rendimiento en todas las ablaciones. Con este número de demostraciones, las políticas entrenadas con AG-iDP3 son prácticas para la recolección de datos in situ y el reentrenamiento cada vez que cambia la tarea o la configuración del hardware.
Consideraciones Adicionales
Resolución de nube de puntos frente a robustez industrial. La resolución de ambas cámaras de nube de puntos de escena, reducida aún más en el codificador PointNet, no fue lo suficientemente fina para resolver las características del receptáculo necesarias para la inserción con holgura ajustada. Esta es probablemente la razón por la que la configuración RGB dual superó a ambas configuraciones RGB-muñeca + PC-escena. En un entorno industrial donde la iluminación no es constante, los equipos se decoloran con la edad y las partículas en el aire son comunes, la detección ToF puede proporcionar una salida más fiable que la estéreo pasiva, incluso cuando la configuración experimental favoreció la configuración RGB dual.
Justificación de la puntuación. Se fijó una regla de puntuación antes de la experimentación. Sumar los éxitos de agarre e inserción (excluyendo la limpieza, que siempre tuvo éxito) refleja la realidad operativa de que una inserción exitosa no tiene sentido sin un agarre exitoso. Si el robot no logra agarrar y extraer el cable, no hay oportunidad de que la inserción tenga éxito; si el robot agarra y limpia pero no logra insertar, la tarea está parcialmente completa.
Advertencia sobre la comparación por fase para la línea base solo RGB. Las comparaciones por fase contra la configuración solo RGB de muñeca deben interpretarse con cuidado. Los puertos 2 y 3 tuvieron tasas de éxito más altas que los puertos 1 y 4 en ambas fases. Debido a que la baja tasa de éxito de agarre de la configuración solo RGB filtró una gran fracción de los intentos de inserción, la tasa de éxito de inserción para esa configuración no es directamente comparable con la de configuraciones que agarran con éxito en la mayoría de los ensayos.
Observaciones sobre Robustez
La política aprendida resultó frágil ante pequeños cambios visuales en la escena. Se observaron dos modos de fallo representativos: (i) eliminar un objeto de fondo (un bloque de polímero rojo) presente durante el entrenamiento provocó que la política fallara; (ii) cambiar el enrutamiento de un cable a lo largo del brazo del robot (suelto vs. atado) también provocó fallos. Estos problemas se mitigaron entrenando y desplegando con imágenes recortadas para que solo el área de tarea controlada se alimente a la política, y adoptando gestión de cables mediante poleas para que los cables vuelvan a la misma posición independientemente de la trayectoria del brazo. Si bien estas soluciones específicas de la tarea restauraron un comportamiento fiable, el problema subyacente de robustez persiste: el codificador visual parece fijarse en características incidentales de la escena en lugar de en las relevantes para la tarea.
Direcciones Futuras
La investigación en curso se centra en tres líneas:
Mejoras algorítmicas incluyen codificadores preentrenados más ricos para entradas de nubes de puntos, profundidad y escala de grises (por ejemplo, DINOv3, DiT), codificación multitarea o semántica, resolución de entrada dinámica, horizontes de predicción dinámicos, modelos de acción en espacio cartesiano y una política lenta-rápida que empareja un controlador reactivo de alta frecuencia con un planificador de baja frecuencia. La robustez y el escalado de datos se pueden abordar mediante aleatorización de dominio, entrenamiento basado en simulación con aumento de datos y ajuste fino con aprendizaje por refuerzo.
Extensiones de sensores y plataforma incluyen evaluación directa de un sensor ToF de muñeca ADI Tembin frente al D405; cámaras de eventos para señales de movimiento de baja latencia; detección táctil para detección de contacto y deslizamiento local; un sensor de par de 6 grados de libertad de ADI comparado con el par derivado de las articulaciones del FR3; coordinación bimanual multi-brazo para enrutamiento, fijación y transferencia; manos multi-dedos diestras para reorientación en la mano; y dispositivos de teleoperación hápticos para demostraciones ricas en contacto.
Mejoras en cómputo y despliegue apuntan a inferencia más rápida, mayores tasas de acción, menor latencia y mejor eficiencia energética. Estos objetivos se pueden abordar pasando de estaciones de trabajo RTX a despliegue en el borde con unidades de procesamiento neuronal (NPU) y aceleradores de redes neuronales analógicas.
Preguntas Frecuentes
¿Qué hardware se necesita para construir las placas IDB? Las placas IDB están diseñadas para una fabricación sencilla mediante impresión 3D, corte láser y hardware estándar, con un costo total de unos pocos cientos de dólares.
¿Cuántas demostraciones se necesitan para entrenar políticas AG-iDP3? Cada fase de la tarea de limpieza de cables (agarre, limpieza, inserción) requirió aproximadamente 100 demostraciones para entrenar una política de buen rendimiento en todas las configuraciones de ablación.
¿Qué configuración de sensores logró los mejores resultados? La configuración RGB multivista (cámara RGB de muñeca + cámara RGB de escena) con R3M logró la mejor puntuación total del 78%, combinando un fuerte comportamiento de agarre con contexto de escena de alta resolución.
¿Por qué a veces fallaban las políticas aprendidas en entornos nuevos? El codificador visual tendía a fijarse en características incidentales de la escena en lugar de en las relevantes para la tarea, causando fallos cuando se movían objetos de fondo o cambiaba el enrutamiento de los cables.