연구진이 증강현실(AR)을 활용해 인간 시연자가 더 다양하고 유용한 훈련 데이터를 수집하도록 안내하는 로봇 없는 시연 수집 시스템 EgoGuide를 개발했습니다. 손목 및 머리 장착 카메라와 실시간 커버리지 점수를 결합하여, 이 시스템은 로봇이 더 적은 시연으로 조작 작업을 학습하고 폐색(occlusion)에 더 강인하게 대처할 수 있도록 돕습니다.
목차
연구진이 만든 것
EgoGuide는 물리적 로봇 없이 로봇 조작 시연을 수집하기 위한 완전한 하드웨어 및 소프트웨어 파이프라인입니다. 하드웨어는 손가락 열림 너비를 측정하는 회전 센서가 있는 핸드헬드 그리퍼, 그리퍼 근처에 장착된 어안 손목 카메라, 데이터를 무선으로 스트리밍하는 Raspberry Pi 컨트롤러로 구성됩니다. 시연자가 착용한 Meta Quest 헤드셋은 작업 공간의 자기중심적(egocentric) 광각 뷰를 캡처하고 AR 인터페이스를 제공합니다.
시스템의 핵심 혁신은 세 가지 상호 보완적 신호(손목 이미지: 손-물체 외형 및 접촉, 손목 자세: 엔드 이펙터 위치의 기하학적 다양성, 머리/자기중심 이미지: 전역 장면 맥락, 물체 배치, 손목 카메라에 보이지 않는 단서)로부터 계산되는 온라인 데이터 커버리지 점수입니다. 이 점수는 AR 디스플레이에 렌더링되어 시연자가 에피소드를 기록하기 전에 손 자세, 물체 배치 또는 시점을 조정하도록 유도합니다. EgoGuide는 부분 시연(작업 중간부터 녹화)도 지원하여 후기 단계 상호작용의 커버리지를 높입니다.
수집 후, 정적 필터링 단계에서 센서 오류나 동기화 불량이 있는 에피소드를 제거합니다. 결과 데이터셋으로 표준 손목 뷰 확산 정책(diffusion policy)과, 배치 중 보조 신호로 헤드 카메라 뷰를 사용하는 게이티드 자기중심 잔차 정책(GERP)을 훈련합니다.
주요 결과
연구진은 네 가지 실제 조작 작업(큐브 집기, 후추 분류, 마늘 보관, 루빅스 큐브 돌리기)에서 EgoGuide를 평가했습니다. 모든 정책은 Flexiv Rizon 4 로봇에서 작업당 20회 시행, 무작위 물체 위치로 테스트되었습니다.
후추 분류 작업에서 EgoGuide는 표준 비유도 수집 대비 50%의 시연만으로 비슷한 성공률을 달성했습니다. 모든 장시간(long-horizon) 작업에서, 같은 데이터셋 크기를 사용할 때 온라인 가이드가 성공률을 높였습니다. GERP 정책은 폐색 하에서 성능을 더욱 향상시켰습니다. 예를 들어 손목 카메라가 대상 물체를 잃었을 때, 게이팅 메커니즘이 자기중심 잔차의 기여도를 높여 작업 성능이 떨어지는 것을 방지했습니다.
t-SNE 시각화는 EgoGuide 데이터셋이 손목 및 자기중심 뷰 모두에서 CLIP 및 DINOv2 특성 인코더에 대해 일관되게 더 넓은 특성 공간 커버리지를 보임을 확인했습니다. 이는 온라인 가이드가 시연자로 하여금 유사한 궤적을 반복하기보다 덜 대표된 상태를 탐색하도록 효과적으로 유도함을 보여줍니다.
작동 원리
EgoGuide는 수집 중 폐루프(closed-loop) 시스템으로 작동합니다. 각 에피소드 전에 실시간 손목 이미지, 손목 자세(6D 변위 + 쿼터니언), 자기중심 헤드 이미지가 워크스테이션으로 전송됩니다. 시각 특성의 경우, DINOv2(국소 외형 및 기하학)와 CLIP(물체 및 장면 수준 의미)을 모두 사용하여 두 카메라 뷰를 특성 벡터로 인코딩합니다. 손목 자세는 정규화된 변위-회전 거리를 사용해 이전에 기록된 자세 메모리와 비교됩니다.
최근접 이웃 검색으로 데이터셋 내 기존 샘플에 대한 최소 특성 거리 또는 자세 거리를 찾습니다. 커버리지 점수는 이들 거리의 합성입니다. 낮은 유사도(즉, 높은 거리)는 덜 탐색된 상태를 나타냅니다. 이 점수는 AR 헤드셋에 색상 코드 표시기(녹색: 잘 커버됨, 빨간색: 새로운 상태)로 표시되어 시연자가 구성을 변경하도록 유도합니다.
훈련 중에는 먼저 베이스 확산 정책(flow-matching)을 손목 이미지와 자세로 훈련하여 상대 동작(변위, 회전, 그리퍼)을 예측합니다. 그런 다음 별도의 게이티드 자기중심 잔차 정책(GERP)을 훈련합니다. GERP는 현재 손목 뷰와 자기중심 뷰를 입력으로 받아, 학습된 게이팅 값이 임계값을 초과할 때만 베이스 정책 출력에 추가되는 잔차 동작을 출력합니다. 게이팅 값은 손목 뷰가 폐색되거나 대상을 잃었을 때 자연스럽게 증가하여 자기중심 뷰가 보상합니다.
배치 시, 손목 카메라는 수집 시점과 일치하도록 로봇 엔드 이펙터에 견고하게 장착됩니다. 자기중심 카메라는 작업 공간에 약 70cm 높이로 고정되어 안정적인 전역 뷰를 제공합니다. 정책은 10Hz로 실행되며, 로봇의 역기구학 해석기로 전송되기 전에 동작 제한이 적용됩니다.
로봇공학에서의 중요성
인간 시연으로부터의 모방 학습(IL)은 로봇에게 조작 기술을 가르치는 강력한 방법이지만, 충분히 다양하고 고품질의 시연을 수집하는 것이 주요 병목입니다. EgoGuide는 인간 시연자에게 데이터 커버리지에 대한 실시간 피드백을 제공하여 필요한 총 시연 수를 줄임으로써(일부 작업에서 50% 감소) 이 문제를 직접 해결합니다. 이는 더 적은 인간 노력과 더 빠른 데이터셋 반복을 의미합니다.
또한 시스템은 손목 전용 설정의 일반적인 실패 모드인 폐색을 처리합니다. 자기중심 카메라와 게이티드 잔차 정책을 통합함으로써 로봇은 기본 뷰가 차단된 경우에도 동작을 추론할 수 있으며, 이는 창고 피킹이나 조립 라인과 같은 복잡한 실제 환경에서 중요합니다. 조작 작업에 중고 협동로봇을 배포하는 기업에게 EgoGuide는 값비싼 수동 프로그래밍 없이 작업 능력을 확장할 수 있는 실용적인 방법을 제공합니다.
로봇 없는 수집 원리는 특히 가치가 있습니다. 시연은 로봇 없이 어디서든(사무실, 가정, 창고) 수집된 후 Robot Overflow에서 찾을 수 있는 중고 산업용 로봇과 같은 호환 로봇 팔로 이전될 수 있습니다. 이는 데이터 수집을 하드웨어로부터 분리하여 배포를 가속화합니다.
한계 및 미해결 질문
EgoGuide는 현재 평가 중 고정된 자기중심 카메라 배치를 가정합니다. 헤드셋은 수집 중에만 착용되며 로봇이 착용하지 않습니다. 배치 중 동일한 시점을 사용하지만 공간에 고정되어 있으면, 로봇 팔이 시연자가 경험할 수 없는 방식으로 움직이는 시나리오에는 일반화되지 않을 수 있습니다. 이동 로봇(예: 휴머노이드의 머리 장착)에서 움직이는 자기중심 뷰는 자연스러운 확장이 될 수 있습니다.
온라인 가이드 점수는 특성 공간에서 최근접 이웃 검색에 의존하며, 이는 데이터셋 크기에 선형적으로 확장됩니다. 매우 큰 데이터셋의 경우 근사 최근접 이웃 방법이나 더 압축된 특성 표현이 필요할 수 있습니다. 또한 AR 인터페이스는 숙련된 사용자에게 주의를 분산시키거나 속도를 늦출 수 있습니다. 시스템은 아직 사용자 숙련도에 따라 가이드 강도를 조정하지 않습니다.
마지막으로, 현재 평가는 네 가지 탁상 작업을 다룹니다. 더 동적인 전신 작업(예: 전체 팔 조작, 걷기 및 잡기)에서의 성능은 아직 탐구되지 않았습니다.
자주 묻는 질문
EgoGuide에 필요한 하드웨어는? 회전 센서와 어안 카메라가 있는 핸드헬드 그리퍼, 스트리밍용 Raspberry Pi, 표준 VR/AR 헤드셋(예: Meta Quest), 처리용 워크스테이션.
커버리지 점수는 어떻게 작동하나요? 현재 손목 이미지, 손목 자세, 자기중심 이미지를 DINOv2, CLIP, 자세 특성 공간에서 최근접 이웃 거리를 사용해 이전에 수집된 모든 샘플과 비교합니다. 거리가 클수록 더 새로운 상태를 의미합니다.
EgoGuide는 어떤 로봇과도 작동하나요? 네. 시연이 로봇 없이 수집되므로, 결과 정책은 엔드 이펙터 구성이 일치하는 모든 로봇 팔에 배포될 수 있습니다. 손목 카메라를 동일한 상대 자세로 장착하기만 하면 됩니다.
EgoGuide가 가장 유용한 작업은? 물체 배치가 다양한 장시간 작업, 폐색이 발생하기 쉬운 작업(예: 복잡한 환경에서 잡기), 인간 시연 시간을 줄이는 것이 중요한 모든 시나리오.
결론
EgoGuide는 인간에게 시연 수집 중 실시간 AR 피드백을 제공함으로써 모방 학습의 데이터 다양성 병목을 해결합니다. 게이티드 자기중심 잔차 정책과 결합하여 필요한 시연 수를 줄이고 폐색에 대한 강인성을 향상시켜, 실용적인 로봇 학습을 생산 배포에 더 가깝게 만듭니다.