노스이스턴 대학 연구진이 개발한 JOIN은 3단계 시스템으로, 이동 로봇이 이미 물체를 쥐고 있는 휠체어 장착 팔에 자율적으로 합류할 수 있게 한다. 네 가지 양손 작업 테스트에서 JOIN은 95%의 성공률을 기록했으며, 이는 숙련된 원격 조작의 신뢰성에 필적하면서도 작업 비의존적 기하학적 접근법에 비해 작업자 노력을 극적으로 줄였다.
목차
연구진이 구축한 것
JOIN은 양손 결합(bimanual joining) 문제를 해결하는 풀스택 시스템이다. 즉, 한 로봇 팔이 이미 물체를 잡고(앵커) 있을 때, 두 번째 이동 로봇이 접근하여 위치를 잡고 동일하거나 관련된 물체를 잡아 협력적인 양손 작업을 수행해야 하는 상황을 다룬다. 시스템은 세 단계로 작동한다. 첫째, 보완 로봇이 미리 정해진 관찰 자세로 이동하여 비전-언어 모델(Gemini Robotics-ER 1.6)을 사용해 사용자 명령과 시각적 장면을 이해한다. 둘째, 반대력 폐쇄(opposition force closure)와 방향적 조작성(directional manipulability)을 최대화하는 베이스 위치와 그리퍼 방향을 계획한다. 이는 보완 로봇의 잡기가 앵커의 힘에 반대되고 작업에 중요한 방향으로 움직일 수 있도록 보장한다. 셋째, 로봇이 해당 자세로 이동하여 잡기를 실행한다.
하드웨어 플랫폼은 Kinova Gen3 휠체어 장착 팔(앵커)과 Hello Robot Stretch 3 모바일 매니퓰레이터(보완 로봇)를 짝지었다. 작업자 개입은 자율적인 사전 잡기 단계 후 짧은 잡기 보정으로 제한되며, 이후 두 로봇은 원격 조작 아래 협력 움직임을 실행한다. JOIN은 상자 들기, 병 열기, 저기, 따르기의 네 가지 일상 작업에서 테스트되었다.
주요 결과
JOIN은 20회 시도 중 19회 성공(95%)하여, 숙련된 원격 조작(20/20) 및 AnyGrasp 작업 비의존적 기준선(14/20, 70%)과 비교했을 때 우수한 성능을 보였다. 또한 시스템은 기준선보다 훨씬 적은 작업자 보정이 필요한 잡기 제안을 생성했으며, 등급별 지표에서 원격 조작 품질에 필적했다.
| 방법 | 성공률 | 평균 재잡기 횟수(병 열기) | 평균 흘린 공 수(따르기) |
|---|---|---|---|
| 완전 원격 조작 | 100% (20/20) | 2.0 | 0.2 |
| JOIN | 95% (19/20) | 2.0 | 0.4 |
| AnyGrasp 기준선 | 70% (14/20) | 3.2 | 7.3 |
JOIN의 잡기 제안은 작업자 노력을 줄였다. 상자 들기 작업에서 총 작업자 보정 시간(잡기 조정 + 실행)은 기준선보다 현저히 짧아 원격 조작 효율에 근접했다. 병 열기의 경우 JOIN은 기준선의 3.2회 대비 2.0회의 재잡기 횟수로 원격 조작과 일치했다. 따르기 작업에서 기준선은 평균 7.3개의 공을 흘렸고(한 번의 시도에서는 21개를 떨어뜨림), JOIN은 0.4개만 흘려 원격 조작의 0.2개와 거의 구별되지 않았다.
작동 방식
JOIN은 양손 결합을 높은 수준의 추론과 기하학적 정밀성을 결합한 세 가지 순차적 단계로 분해한다.
1단계 – 계획: 보완 로봇이 먼저 미리 정의된 관찰 위치로 이동한다. 사용자 명령(예: "병을 열어줘")과 RGB-D 이미지가 주어지면 Gemini Robotics-ER 1.6이 작업 관련 물체를 식별하고 의도된 움직임 방향(예: 비틀기, 들기, 저기)을 추론한다. 그런 다음 시스템은 두 가지 항목으로 구성된 점수 함수를 사용하여 후보 베이스 자세와 그리퍼 방향을 평가한다. 반대력(opposition)은 앵커의 기존 잡기와 후보 잡기 사이의 힘 폐쇄 품질을 측정하여 두 팔이 작업 관련 방향을 따라 힘에 저항할 수 있도록 보장한다. 방향적 조작성(directional manipulability)은 해당 베이스 자세에서 보완 로봇이 필요한 움직임 방향을 따라 속도를 생성할 수 있는 능력을 정량화한다. 가장 높은 점수의 구성을 선택한다.
2단계 – 주행: 모바일 베이스는 온보드 센서와 로컬 플래너를 사용하여 선택된 자세로 이동한다. 시스템은 기구학 계산을 위해 Pinocchio를 사용하며, 3D 기하학적 추론에 VLM을 의존하지 않는다.
3단계 – 잡기: 대상 자세에서 보완 로봇이 계획된 잡기를 실행한다. 그런 다음 제어는 원격 조작자에게 넘어가며, 조작자는 작은 보정(평균 10초 미만)을 한 후 두 팔이 원격 조작 아래 협력 움직임을 실행한다.
핵심 혁신은 잡기와 베이스 자세가 안정적인 집기만을 위한 것이 아니라 작업을 위해 선택된다는 점이다. 기하학만 고려하는 방식에서 작업 인식 계획으로의 전환이 AnyGrasp 기준선과의 큰 성능 차이를 설명한다.
로보틱스에 미치는 의의
상체 이동성이 제한된 휠체어 사용자의 경우, 현재 단일 팔 로봇 시스템(Kinova JACO 등)은 물체를 잡고 가져올 수 있지만 두 손이 필요한 작업(병을 잡고 열기, 냄비 저기, 큰 상자 나르기)은 수행할 수 없다. JOIN을 통해 사용자는 두 번째 이동 로봇을 호출하여 자율적으로 위치를 잡고 부족한 협응을 제공받을 수 있다.
실용적 이점은 명확하다. 작업자 개입은 짧은 잡기 보정과 단일 연속 원격 조작 움직임으로 축소되는 반면, 잡기 전 추론, 계획 및 내비게이션은 자율적으로 처리된다. 이는 보조 양손 조작을 실행 가능한 일상 도우미에 한 걸음 더 가깝게 만든다. 특히 이동 로봇을 별도로 보관했다가 필요할 때 호출할 수 있는 가정 환경에서 유용하다.
로보틱스 엔지니어에게 JOIN의 아키텍처는 의미적 추론(VLM)과 기하학적 계산(분석 도구) 사이의 깔끔한 분리를 보여준다. 이는 정밀한 공간 작업에 대규모 모델을 의존하는 흔한 함정을 피하는 패턴이다. 문제 정의 자체인 "앵커 잡기 조건부 결합"은 제조, 의료 및 가정 로보틱스의 다른 양손 시나리오에 대한 템플릿을 제공한다. 현재 하드웨어 옵션에 대해서는 보완 로봇으로 사용할 수 있는 중고 협동로봇을 참조하라.
한계 및 미해결 문제
평가는 예비적이다. 조건당 5회 시도, 단일 환경(아파트 한 곳), 그리고 논문 저자이기도 한 한 명의 숙련된 원격 조작자만 참여했다. 구성 요소 제거 실험이 수행되지 않아 각 점수 항목(반대력, 방향적 조작성)이 개별적으로 필요한지 불분명하다. 시스템은 단일 단계 결합만 처리하며, 여러 번의 재잡기나 동적 물체 인계가 필요한 작업은 다루지 않는다. 관찰 자세는 최적화되지 않고 수동으로 선택되었으며, VLM 추론은 알려진 물체와 명령으로 제한되었다. 향후 연구는 더 큰 사용자 연구, 동적 환경, 그리고 원격 조작 속도와의 격차를 줄이는 학습된 협력 정책을 포함해야 한다.
자주 묻는 질문
양손 결합이 정확히 무엇인가요? 한 로봇 팔이 이미 물체를 잡고 있고, 두 번째 이동 로봇이 자율적으로 접근하여 동일하거나 관련된 물체를 잡아 협력적인 양손 작업을 수행해야 하는 상황입니다.
JOIN은 일반적인 로봇 잡기 시스템과 어떻게 다른가요? 대부분의 잡기 시스템은 기하학적 안정성(물체를 어디에 잡을지)만 고려합니다. JOIN은 또한 작업 움직임을 고려하여, 뚜껑을 비틀거나 젓는 등의 작업을 위해 두 팔이 효과적으로 함께 움직일 수 있도록 그립과 베이스 자세를 선택합니다.
가장 중요한 결과는 무엇인가요? JOIN은 20회 시도 중 19회(95%) 성공하여 완벽한 원격 조작(20/20)에 거의 근접했고 작업 비의존적 기준선(14/20)을 능가했습니다. 작업자 보정 시간이 크게 줄었고 작업 품질(예: 흘린 공 수)은 인간 원격 조작에 필적했습니다.
JOIN은 오늘날 실제 가정에서 사용할 수 있나요? 시스템은 제한된 작업 세트로 단일 아파트 환경에서 시연되었습니다. 접근 방식은 유망하지만, 여러 사용자, 어수선한 방, 동적 장애물에서 아직 테스트되지 않았으므로 일상적인 배치 전에 더 많은 엔지니어링과 사용자 연구가 필요합니다.
결론
JOIN은 비전-언어 추론과 분석적 기하학적 계획을 결합하여 양손 결합에 대한 원칙적인 접근 방식을 소개합니다. 작업자 노력을 전체 작업에서 짧은 잡기 보정으로 전환함으로써 보조 양손 로보틱스를 실용적인 일상 사용에 크게 더 가깝게 만듭니다. 문제 정의와 시스템 설계는 접근성 및 그 이상을 위한 협력 조작의 향후 연구에 강력한 기반을 제공합니다.