GROW²라는 새로운 접근법은 로봇이 어수선한 일상용품 더미에서 적절한 도구를 고르고, 정확히 어디를 잡고 적용할지 파악할 수 있게 해줍니다. 특정 도구에 대한 사전 훈련 없이도 가능합니다. 시각-언어 이해와 3D 재구성을 결합하여, 이 시스템은 시뮬레이션과 실제 실험 모두에서 현재 방법들을 크게 능가하는 도구 사용 성공률을 달성합니다.
목차
연구진이 만든 것
GROW²는 "Grounding Which and Where for Robot Tool Use"의 약자입니다. 인간은 쉽게 해결하지만 로봇에게는 악명 높게 어려운 문제를 다룹니다: 어수선한 장면에서 즉석 도구를 발견하고 정확히 어디에 적용할지 아는 것입니다. 예를 들어, 칼이 없으면 로봇이 접시를 집어 그 가장자리로 케이크를 자를 수 있어야 합니다.
시스템은 세 단계로 작동합니다. 첫째, 시각-언어 모델(VLM)이 장면을 스캔하여 물체들 중 최적의 도구 후보를 선택합니다. 둘째, 동일한 VLM이 그 도구를 명명된 부분(예: "가장자리", "손잡이")으로 분해하고 작업에 적합한 부분을 선택합니다. 셋째, GROW²는 분할과 3D 재구성을 결합하여 그 부분 이름을 정확한 3D 좌표로 변환하고, 로봇이 잡고 적용할 수 있는 명확한 기능적 영역(affordance region)을 생성합니다.
중요한 점은 GROW²가 도구가 이미 식별되었다고 가정하거나, 미리 정의된 기능을 가진 고정된 도구 라이브러리에 의존하지 않는다는 것입니다. 기초 모델(foundational models)을 활용하여 의미 이해와 기하학적 추론을 수행함으로써, 시스템은 한 번도 본 적 없는 개방형 범주(open-category)의 물체를 처리합니다.
주요 결과
GROW²는 두 가지 표준 기능적 영역 벤치마크와 도구 선택을 위해 특별히 설계된 새로운 벤치마크에서 평가되었습니다. 2D 기능적 영역 데이터셋 AGD20K에서 GROW²는 평균 교차 대비 합집합(mIoU) 58.2%를 달성하여 이전 최고 방법(AffordanceLLM, 53.1%)을 능가했습니다. 3D 포인트 클라우드 벤치마크 PIAD에서는 평균 IoU 68.7%로 최신 방법(GEAL, 63.1%)을 다시 앞질렀습니다.
연구진은 또한 5개 작업 유형, 85개의 고유 물체 에셋, 100개의 장면으로 구성된 새로운 시뮬레이션 벤치마크를 만들었습니다. GROW²는 해당 실험의 72%에서 성공했으며, 최고 기준선(MOKA, 45%)에 비해 월등히 높은 성과를 보였습니다. Franka 로봇 팔을 사용한 50회의 실제 실험에서 GROW²는 64%의 성공률을 기록한 반면, 기준선들은 12%에서 36% 사이였습니다.
| 벤치마크 | 지표 | GROW² | 최고 기준선 |
|---|---|---|---|
| AGD20K (2D 기능적 영역) | mIoU | 58.2% | 53.1% (AffordanceLLM) |
| PIAD (3D 포인트 클라우드) | mIoU | 68.7% | 63.1% (GEAL) |
| 시뮬레이션 (5개 작업, 85개 물체) | 작업 성공률 | 72% | 45% (MOKA) |
| 실제 실험 (50회) | 작업 성공률 | 64% | 36% (최고 기준선) |
작동 원리
GROW²는 대규모 시각-언어 모델(VLM), 3D 재구성 도구(SAM3D), 그리고 부분 분할 도구(SAM3)를 결합한 모듈식 파이프라인입니다. 과정은 어수선한 장면의 단일 RGB-D 이미지로 시작됩니다. VLM(이 경우 최신 버전의 GPT)은 먼저 보이는 모든 물체를 나열하고 주어진 작업(예: "케이크 자르기")에 가장 잘 사용될 수 있는 물체를 선택합니다. 이 단계는 무엇(which) 문제를 해결합니다.
다음으로, VLM은 선택된 도구를 구성 부분으로 분해하고 동작에 적합한 영역을 선택합니다. 예를 들어, 접시는 "중앙", "테두리", "가장자리"로 분해될 수 있으며, 자르기 위해서는 "가장자리"가 선택됩니다. 이 부분 이름은 2D 분할 모델인 SAM3에 전달되어, 물체의 여러 렌더링 뷰에 걸쳐 해당 부분의 픽셀 수준 마스크를 생성합니다. 생성된 마스크는 SAM3D에서 재구성된 물체의 메시와 등록된 포인트 클라우드를 사용하여 3D로 역투영됩니다.
최종 기능적 영역 맵을 생성하기 위해 GROW²는 분할된 부분 마스크를 3D 메시에 투영하고, 각 정점(vertex)이 "부분"에 속할 점수를 계산합니다. 가장 높은 점수를 받은 영역이 로봇의 그립(grasp) 또는 접촉 영역이 됩니다. 대상 물체(예: 케이크)도 유사하게 처리되어 도구가 접촉해야 할 위치를 식별합니다.
전체 파이프라인은 NVIDIA H100 GPU에서 장면당 약 16.6초가 소요되며, 도구와 대상 물체의 재구성을 병렬화하여 지연 시간을 줄입니다.
로봇공학에서의 의의
일상용품으로 즉석 도구를 만드는 능력은 강건한 자율 조작의 핵심입니다. 가정, 창고, 재난 지역에서 로봇은 완벽하게 정돈된 환경이나 전용 작업 도구를 거의 만나지 못합니다. GROW²는 로봇을 인간과 같은 자원 활용 능력에 한 걸음 더 가깝게 만듭니다.
창고 작업에서 로봇은 전용 도구 대신 근처 상자 가장자리를 긁개로 사용하여 가동 중단 시간을 줄일 수 있습니다. 가정 서비스 로봇은 접시로 음식을 자르거나 무거운 머그잔으로 못을 박는 등, 상황에 맞게 즉시 적응할 수 있습니다.
모듈식 설계 덕분에 GROW²는 전체 시스템을 재훈련하지 않고도 더 나은 VLM과 분할 모델이 등장함에 따라 업데이트될 수 있습니다. 이는 미래 상용 로봇을 위한 실용적인 기반이 됩니다. 이러한 제로샷 도구 사용 능력을 갖출 수 있는 중고 협동로봇이나 이러한 적응성의 혜택을 받을 창고 로봇을 살펴보세요.
한계 및 미해결 과제
GROW²는 아직 동적 작업에 충분히 빠르지 않습니다. 16.6초의 파이프라인 지연 시간으로는 반응형 조작이 불가능합니다. 실패는 VLM 단계에 집중되어 있으며, 때때로 모델이 잘못된 도구나 부분을 선택합니다. 많은 물체가 있는 어수선한 장면으로 확장하면 할루시네이션(hallucination) 가능성도 높아집니다.
효율성 역시 또 다른 문제입니다. 대규모 VLM과 여러 기초 모델을 실행하는 것은 계산 비용이 많이 들어 엣지 장치에 배포하기 어렵습니다. 저자들은 향후 경량 모델로 GROW²를 증류(distill)하는 것을 제안하지만, 이는 일반화 능력을 어느 정도 희생할 가능성이 있습니다.
마지막으로, 이 시스템은 정확한 3D 재구성에 의존합니다. 물체 메시가 불완전하거나 왜곡되면 부분 기반(part grounding)이 저하됩니다. 투명하거나 반짝이거나 변형이 심한 물체를 다루는 것은 여전히 미해결 과제입니다.
자주 묻는 질문
GROW²를 통해 로봇이 정확히 무엇을 할 수 있나요? 로봇이 어수선한 장면에서 알려지지 않은 물체들을 보고, 도구로 사용할 최적의 물체를 선택하며, 정확히 어디를 잡고 적용할지 알 수 있게 해줍니다. 특정 물체에 대한 사전 훈련 없이도 가능합니다.
GROW²는 이전의 기능적 영역 학습 방법과 어떻게 다른가요? 이전 방법들은 도구가 이미 알려져 있다고 가정하거나, 미리 정의된 기능을 가진 고정된 도구 집합에 의존했습니다. GROW²는 도구와 상호작용 영역을 즉석에서 선택하며, 한 번도 본 적 없는 물체를 처리합니다.
GROW²는 많은 주석이 달린 훈련 데이터가 필요한가요? 아닙니다. 사전 훈련된 시각-언어 모델과 분할 모델을 사용하므로 도구 선택 작업에 추가 주석이 필요하지 않습니다. 2D 및 3D 기능적 영역 벤치마크는 평가에만 사용되었고 훈련에는 사용되지 않았습니다.
실제로 GROW²는 얼마나 빠른가요? 현재 파이프라인은 H100 GPU에서 장면당 약 16.6초가 소요되며, 실시간 동적 작업에는 너무 느립니다. 연구진은 속도를 높이는 방법을 모색 중입니다.
결론
GROW²는 어떤(which) 물체를 사용할지와 어디(where)에 상호작용할지를 모두 구체화함으로써, 실용적인 개방형 도구 사용을 위한 중요한 진전을 이루었습니다. 강력한 벤치마크 성능과 실제 성공은 일반 VLM과 3D 재구성을 결합하는 것이 적응형 조작을 위한 유망한 경로임을 시사합니다.