산업용 정밀 조작을 위한 하드웨어-소프트웨어 벤치마킹 플랫폼이 제시된다. 이 플랫폼은 데이터센터 광섬유 스위치, 자동차 케이블 하네스, 유성 기어박스 조립을 대상으로 하는 세 가지 맞춤형 Industrial Dexterity Benchmark (IDB) 보드로 구성된다. 본 연구는 ROS2 기반 모방 학습 프레임워크인 DAG-ROS와 RGB 이미지, 포인트 클라우드, 관절 상태, 손목 렌치 입력을 융합하는 다중 모달 확산 기반 정책 아키텍처인 AG-iDP3를 소개한다. 데이터센터 케이블 조작 보드에서의 결과가 여섯 가지 센서 구성에 걸쳐 보고된다.
서론
실제 데이터센터 환경은 서브밀리미터 간격의 케이블 분리와 날카로운 각도로 배선된 빽빽하게 채워진 랙 스위치를 특징으로 한다. 이러한 환경에서는 커넥터 청소나 케이블 교체와 같은 일상적인 유지보수 작업조차도 환경을 방해하지 않고 작업을 완료하기 위해 인지, 계획, 접촉 인식 제어의 세심한 조정이 필요하다.
본 연구는 고전적인 컴퓨터 비전과 고전적인 제어 기술을 결합하여 NIST Assembly Task Board #4 (ATB4)를 해결하려는 노력에서 시작되었다. 이 솔루션은 통제된 조건에서는 작동했지만 깨지기 쉽고 확장이 어려워, 실제 데이터센터의 변동성과 도전을 더 잘 모방하는 새로운 벤치마킹 표준의 개발을 촉진했다.
기여 및 개요
세 가지 주요 기여가 개략적으로 설명된다:
- NIST Assembly Task Board 세트에서 영감을 받은 Industrial Dexterity Benchmark (IDB) 보드: 데이터센터 광섬유 스위치(IDB Board #1), 자동차 케이블 하네스(IDB Board #2), 유성 기어박스 조립(IDB Board #3)에 맞춰진 세 가지 맞춤형 벤치마킹 보드
- 텔레오퍼레이션, 센서 및 하위 구성 요소 통합, 데이터 수집, 실시간 로봇 팔 제어를 연결하는 ROS2 기반 모방 학습 프레임워크 DAG-ROS
- RGB 이미지, 포인트 클라우드, 관절 상태, 로봇 손목 렌치를 입력으로 받아 로봇 동작을 출력하는 PyTrees 기반 행동 트리 아키텍처를 사용하여 배치 및 체인화된 다중 모달 확산 기반 정책 프레임워크 AG-iDP3
조작을 위한 확산 정책
AG-iDP3는 로봇 관절 상태, RGB 이미지, 3D 포인트 클라우드, 손목 렌치를 통합 확산 정책으로 융합하여 기존 접근 방식의 격차를 해결한다. 모달리티 게이팅 메커니즘을 통합함으로써 아키텍처는 훈련 중 센서 입력을 선택적으로 마스킹할 수 있어 여섯 가지 서로 다른 센서 구성에 대한 절제 연구를 가능하게 한다. 정책은 IDB Board #1에서 케이블 청소 작업을 해결한 실제 시연을 통해 훈련된다.
산업용 손재주 벤치마킹 (IDB)
산업적으로 관련된 작업에서 엔드투엔드 정책의 체계적인 평가 및 개발을 가능하게 하기 위해, 다양한 산업용 조작 과제를 대상으로 하는 벤치마킹 플랫폼 제품군이 설계되었다. IDB 프로그램은 세 가지 벤치마크 보드 디자인으로 구성된다: (1) 데이터센터 케이블 조작, (2) 자동차 케이블 하네스, (3) 기어박스 조립. 세 가지 모두 NIST 조립 작업 보드 철학을 따르며, 3D 프린팅, 레이저 커팅, 기성 하드웨어를 사용하여 제작하기 쉬우며 총 비용은 수백 달러 미만이다. 본 논문에서 보고된 결과는 데이터센터 케이블 조작 보드에만 국한되며, 나머지 두 디자인은 완전성을 위해 설명된다.
디자인 2: 자동차 케이블 하네스 (IDB Board #2)
벤치마크는 다양한 높이, 방향, 가려짐 수준에 분포된 8개의 커넥터(2개 6핀, 6개 2핀)를 포함한다. 2핀 커넥터에는 성공적인 전기 연결 시 켜지는 LED가 장착되어 명확한 합격/불합격 피드백을 제공한다. 밀폐된 영역의 소켓은 여러 장착 위치를 제공하여 동일한 보드를 사용하여 사용자가 난이도를 조절할 수 있게 한다. 고급 배선 옵션은 케이블을 벽의 좁은 구멍을 통해 통과시켜 공간 인식과 로봇 양손 협응을 더욱 강조한다.
점수는 연결 성공(8개 커넥터, LED로 확인)과 케이블 배선 준수(지정된 배선 클립을 통과하는지 여부)를 평가한다. 시간 제한은 없으며 재시도에 대한 페널티도 부과되지 않아 능력과 속도를 깔끔하게 분리할 수 있다.
디자인 3: 기어박스 조립 (IDB Board #3)
기어박스를 성공적으로 조립하기 위한 올바른 순서는 다음과 같다:
- 길이 8mm의 M3 나사 4개로 링 프레임을 스테퍼 모터에 장착
- 태양 기어를 모터 샤프트에 삽입 (D-스플라인 정렬)
- 세 개의 유성 기어를 자리 잡고, 태양 기어와 링 기어 모두와 맞물리도록 함
- 길이 12mm의 M3 나사 5개로 프레임 캡을 고정
점수는 배치 및 고정과 관련된 하위 작업에 대해 부여된다. 다음 각 기준에 대해 1점이 부여된다:
- 모든 볼트가 손으로 돌릴 수 없을 정도로 조여짐
- 모든 유성 기어가 올바르게 맞물림
- 캐리어 어셈블리가 완료 후 자유롭게 회전함
행동 트리 아키텍처
루트 노드의 세 자식은 병렬 노드(여러 자식이 동시에 실행됨)이며, 각각 동시에 실행되는 정책 노드와 평가자 노드를 포함한다. 평가자가 필요한 이유는 AI 정책이 스스로 종료되지 않기 때문이며, 연속적인 추론이 무기한 새로운 행동 청크를 생성하기 때문이다. 평가자가 성공을 반환하면, 부모 병렬 노드 자체가 성공을 반환하기 전에 정책 노드에 중지 요청이 전송된다.
- 잡기 — AI 정책이 랙에서 커넥터를 찾아 잡는다. 평가자는 그리퍼 위치가 설정된 시간 동안 닫힘 임계값 아래로 떨어지는 것을 감지한다.
- 청소 — AI 정책이 커넥터 면을 청소 패드에 문지른다. 평가자는 접촉 렌치 크기가 설정된 시간 동안 임계값을 초과하는 것을 감지한다.
- 삽입 — AI 정책이 커넥터를 소켓에 정렬하고 삽입한 후 그리퍼를 연다. 평가자는 그리퍼 위치가 설정된 시간 동안 열림 임계값 위로 올라가는 것을 감지한다.
이 하이브리드 아키텍처는 정밀 조작을 위한 학습된 정책과 안정적이고 안전한 움직임을 위한 고전적인 동작 프리미티브를 결합하여, 각 방법이 가장 적합한 곳에 적용함으로써 적응성과 신뢰성의 균형을 이루는 시스템을 생성한다.
주요 발견
실험의 주요 시사점은 다음과 같다:
- 포인트 클라우드나 서로 다른 시점을 제공하는 두 개의 RGB 카메라를 통해 3D 컨텍스트를 사용할 수 있을 때마다 잡기 단계는 3D 컨텍스트를 포함하는 다섯 가지 구성에서 88%에서 98% 사이의 성공률로 우수한 성능을 보인다. 3D 컨텍스트가 완전히 제거된 단일 RGB 구성에서만 잡기 성공률이 48%로 떨어진다.
- RGB 전용 기준선을 제외하고, 삽입이 총 점수를 차별화하는 단계이다. 구성 1~5에서 삽입 점수는 48% 포인트 차이가 나는 반면, 잡기 성공은 10% 포인트만 차이가 난다.
- 최고 총점(78%)은 R3M을 사용한 다중 뷰 RGB 구성(RGB 손목 + RGB 장면)에서 달성되었으며, 이는 손목 RGB의 강력한 잡기 동작과 미세 정렬에 필요한 고해상도 장면 컨텍스트를 결합한다.
- 장면 카메라 간의 직접 비교에서 EVAL-ADTF3175 ToF는 RealSense D435i보다 7% 포인트 더 높은 성능을 보여, 간접 ToF가 산업용 데이터센터 조건에 더 적합함을 시사한다.
- 네 가지 다중 모달 확장 모두 단일 RGB 카메라 DP 기준선(36% 총점)을 능가하며, 자기중심 포인트 클라우드 전용 iDP3(52% 총점)는 자기중심 포인트 클라우드 정책이 자기중심 RGB 정책보다 우수하다는 발견을 재현한다.
- 케이블 청소 벤치마킹 작업의 세 단계(잡기, 청소, 삽입) 모두 각각 약 100개의 시연이 필요하여 모든 절제에서 잘 작동하는 정책을 훈련시켰다. 이 시연 수에서 AG-iDP3로 훈련된 정책은 작업이나 하드웨어 구성이 변경될 때마다 현장 데이터 수집 및 재훈련에 실용적이다.
추가 고려 사항
포인트 클라우드 해상도 대 산업적 견고성. 두 포인트 클라우드 장면 카메라의 해상도는 PointNet 인코더에서 추가로 다운샘플링되어, 좁은 간격의 삽입에 필요한 소켓 특징을 식별할 만큼 충분하지 않았다. 이것이 실험 구성이 이중 RGB 구성을 선호했음에도 불구하고 이중 RGB 구성이 RGB-손목 + PC-장면 구성을 능가한 이유일 것이다. 조명이 일정하지 않고 장비가 노화되어 변색되며 공기 중 입자가 흔한 산업 환경에서는 ToF 감지가 수동 스테레오보다 더 신뢰할 수 있는 출력을 제공할 수 있다.
점수 산정 근거. 실험 전에 점수 규칙이 고정되었다. 잡기 및 삽입 성공을 합산(항상 성공한 청소는 제외)하는 것은 성공적인 삽입이 성공적인 잡기 없이는 의미가 없다는 운영 현실을 반영한다. 로봇이 케이블을 잡고 빼내지 못하면 삽입이 성공할 기회가 없으며, 로봇이 잡고 청소했지만 삽입에 실패하면 작업이 부분적으로 완료된 것이다.
RGB 전용 기준선의 단계별 비교에 대한 주의. RGB-손목 전용 구성에 대한 단계별 비교는 주의 깊게 해석되어야 한다. 포트 2와 3은 두 단계 모두에서 포트 1과 4보다 성공률이 높았다. RGB 전용 구성의 낮은 잡기 성공률이 많은 삽입 시도를 걸러냈기 때문에, 해당 구성의 삽입 성공률은 대부분의 시도에서 성공적으로 잡는 구성의 성공률과 직접 비교할 수 없다.
견고성 관찰
학습된 정책은 작은 시각적 장면 변화에 취약했다. 두 가지 대표적인 실패 모드가 관찰되었다: (i) 훈련 시 존재했던 배경 물체(빨간색 폴리머 블록)를 제거하자 정책이 실패했다; (ii) 로봇 팔을 따른 케이블 배선(느슨함 대 묶음)을 변경해도 실패가 발생했다. 이러한 문제는 정책에 제어된 작업 영역만 입력되도록 이미지를 자르고, 케이블이 팔 경로와 관계없이 동일한 위치로 돌아오도록 풀리 기반 케이블 관리를 채택하여 완화되었다. 이러한 작업별 해결 방법이 신뢰할 수 있는 동작을 복원했지만, 근본적인 견고성 문제는 지속된다: 시각적 인코더가 작업 관련 기능보다 우발적인 장면 기능에 집착하는 것으로 보인다.
향후 방향
진행 중인 연구는 세 가지 방향에 초점을 맞춘다:
알고리즘 개선에는 포인트 클라우드, 깊이, 그레이스케일 입력을 위한 더 풍부한 사전 훈련된 인코더(예: DINOv3, DiT), 멀티태스크 또는 의미론적 인코딩, 동적 입력 해상도, 동적 예측 범위, 데카르트 공간 동작 모델, 고속 반응 제어기와 저속 계획기를 짝짓는 slow-fast 정책이 포함된다. 견고성과 데이터 확장은 도메인 무작위화, 데이터 증강을 사용한 시뮬레이션 기반 훈련, 강화 학습 미세 조정을 통해 다룰 수 있다.
센싱 및 플랫폼 확장에는 ADI Tembin 손목 ToF 센서와 D405의 직접 비교 평가, 저지연 움직임 신호를 위한 이벤트 카메라, 국부 접촉 및 미끄러짐 감지를 위한 촉각 센싱, FR3의 관절 토크 기반 렌치와 비교한 ADI 6자유도 렌치 센서, 배선, 고정, 핸드오프를 위한 다중 팔 양손 협응, 손 안 재배향을 위한 다중 손가락 손, 풍부한 접촉 시연을 위한 햅틱 텔레오퍼레이션 장치가 포함된다.
컴퓨팅 및 배포 개선은 더 빠른 추론, 더 높은 동작 속도, 더 낮은 지연 시간, 더 나은 전력 효율성을 목표로 한다. 이러한 목표는 RTX급 워크스테이션에서 신경 처리 장치(NPU) 및 아날로그 신경망 가속기로의 엣지 배포를 통해 달성할 수 있다.
자주 묻는 질문
IDB 보드를 구축하는 데 어떤 하드웨어가 필요합니까? IDB 보드는 3D 프린팅, 레이저 커팅, 기성 하드웨어를 사용하여 쉽게 제작할 수 있도록 설계되었으며, 총 비용은 수백 달러 미만입니다.
AG-iDP3 정책을 훈련시키는 데 몇 개의 시연이 필요합니까? 케이블 청소 작업의 각 단계(잡기, 청소, 삽입)는 모든 절제 구성에서 잘 작동하는 정책을 훈련시키기 위해 약 100개의 시연이 필요했습니다.
어떤 센서 구성이 최상의 결과를 얻었습니까? R3M을 사용한 다중 뷰 RGB 구성(RGB 손목 카메라 + RGB 장면 카메라)이 78%의 최고 총점을 달성했으며, 강력한 잡기 동작과 고해상도 장면 컨텍스트를 결합했습니다.
학습된 정책이 새로운 환경에서 때때로 실패하는 이유는 무엇입니까? 시각적 인코더가 작업 관련 기능보다 우발적인 장면 기능에 집착하는 경향이 있어, 배경 물체가 이동되거나 케이블 배선이 변경될 때 실패를 유발했습니다.