Spark라는 새로운 시스템은 사전 학습이나 인간 시연 데이터 없이도 로봇이 복잡한 다단계 조작 작업을 계획하고 실행할 수 있게 해줍니다. 이 시스템은 개방형 어휘 인식 모델, 단일 패스로 타입 기반 행동 트리를 생성하는 트랜스포머, 그리고 인식을 실시간으로 재조정하는 계층적 복구 레이어를 결합합니다.
목차
연구진이 만든 것
Spark는 다양한 로봇 팔(UR10e, Franka FR3, 양팔 Franka)에서 학습이나 미세 조정 없이 작동하는 완전한 로봇 조작 시스템입니다. 핵심 아이디어는 타입 기반 행동 트리(BT)로, 음악가가 악보를 읽듯 로봇이 "초견"으로 읽는 구조화된 계획입니다. Gemini라는 트랜스포머 모델은 조작 기본 요소(잡기, 놓기, 따르기, 쓸기 등)의 간결한 어휘를 사용하여 단일 패스로 전체 행동 트리를 생성합니다. 각 기본 요소에는 계획기가 채우는 타입화된 입력(객체, 팔, 자세, 힘)이 있습니다.
인식 스택은 SAM3(개방형 어휘 분할 모델)을 사용하여 텍스트 프롬프트에서 객체를 찾습니다. 여러 카메라가 깊이 데이터를 제공하고, 역기구학 제어기가 각 동작을 실행합니다. 기본 요소가 실패하면(예: 잡기 실패), 계층적 복구 레이어가 먼저 작은 교란을 시도하고, 팔을 접은 후 인식을 다시 실행하며, 최후의 수단으로만 전체 계획을 재생성합니다. 모든 실패 시 재계획하는 이전 연구와의 차별점이 Spark의 효율성 핵심입니다.
주요 결과
Spark는 세 가지 로봇 체계에서 10가지 작업 세트로 평가되었습니다. 결과는 많은 작업에서 거의 완벽에 가까운 성능을 보여주며, 변형 가능한 객체와 다양한 조명 조건에서 눈에 띄는 강건성을 보였습니다. 아래는 실제 로봇 설정에서의 성공률 요약입니다:
| 작업 | 로봇 | 성공률 | 비고 |
|---|---|---|---|
| 트레이에 식기 넣기 | UR10e | 91% (4/5) | 거의 완벽; 더 넓은 그리퍼가 도움 |
| 인형을 그릇에 넣기 | UR10e | 100% (5/5) | 부드러운 형상에 강건 |
| 블록 쌓기 | UR10e | 80% (4/5) | 넓은 블록이 그리퍼 개구부에 도전 |
| 트레이에 식기 넣기 | Franka FR3 | 73% (8/11) | SAM3가 칼을 숟가락으로 오인 |
| 머그잔 따르기 | Franka FR3 | 73% (8/11) | 손잡이 깊이 노이즈; 기울임 대 따르기 오류 |
| 쓰레받기로 쓸기 | Franka FR3 | 62% (5/8) | 브러시 잡기 위치 및 방향 문제 |
| 티셔츠 접기 | Franka FR3 | 50% (5/10) | 어두운 천에서 실패; 밝은 셔츠에서 100% |
| 식기 분류 | 양팔 | 75% (3/4) | 다중 객체 위치 인식으로 팔 충돌 발생 |
| 접시 닦기 | Franka FR3 | 100% (5/5) | 힘 제한 원형 닦기가 신뢰성 있게 작동 |
이러한 결과는 Spark가 학습 데이터를 사용하지 않고 오직 사전 학습된 시각 모델과 언어 명령에서 기본 요소를 구성하는 법을 학습한 트랜스포머에만 의존한다는 점에서 특히 인상적입니다.
작동 방식
Spark는 폐쇄 루프로 작동합니다: 인식, 계획, 실행, 복구. 계획기(Gemini)는 자연어 작업 설명을 입력받아 타입 기반 행동 트리를 출력하는 트랜스포머입니다. 트리의 노드는 잡기, 놓기, 따르기, 쓸기, 닦기와 같은 기본 요소이며, 각각 타입화된 인수 슬롯(예: 잡기(객체, 팔, 자세, 힘))이 있습니다. 문법은 음악 전사를 위한 MT3의 토큰 어휘에서 영감을 받아 간결하고 조합 가능합니다.
인식은 SAM3을 사용하며, 텍스트 프롬프트는 표준 객체 이름이나 런타임 작업 언어에서 파생됩니다. 각 마스크에 대해 시스템은 여러 Azure Kinect DK 카메라(측면 마스터, 조감도 서브)와 근거리 정제용 RealSense D4351 손목 카메라로부터 중심 픽셀과 중앙값 깊이를 계산합니다. 점들은 세계 좌표로 역투영됩니다.
계층적 복구 레이어가 Spark를 실용적으로 만듭니다. 실패 시(예: 잡기 실패), 시스템은 먼저 작은 교란(흔들기 또는 잡기 교란)을 시도합니다. 그것이 실패하면, 팔이 카메라 시선 방향으로 10cm 후퇴하고 SAM3를 다시 실행하며 업데이트된 객체 위치로 동일한 계획을 재시도합니다. 둘 다 실패할 경우에만 계획을 재생성합니다. 논문에 따르면 재조정을 비활성화하면 Libero-Pro에서 "점수"가 손실되는데(약 10-15% 하락), 대부분의 실패는 팔이 시야에서 벗어나면 해결되는 첫 프레임 SAM3 누락 때문입니다.
로보틱스에 중요한 이유
Spark는 학습 없는 계획기가 고비용 학습 데이터가 필요한 시각-언어-행동(VLA) 모델과 동등하거나 더 나은 성능을 낼 수 있음을 보여줍니다. 플릿 관리자와 통합업체에게 이는 더 빠른 배포를 의미합니다: 새로운 작업이나 로봇 팔마다 시연 데이터를 수집하거나 모델을 미세 조정할 필요가 없습니다. 타입 기반 행동 트리는 또한 해석 가능한 로그(각 시도는 계획, 궤적, 객체 기준 정보를 기록)를 생성하며, 이는 텔레오퍼레이션 없이 기초 모델의 학습 데이터를 생성하는 데 사용될 수 있습니다.
동일한 코드베이스로 다양한 로봇 팔(단일 팔 UR10e, Franka FR3, 양팔 Franka) 간 전환이 가능하다는 점은 여러 유형의 로봇을 운영하는 연구소나 공장에서 큰 장점입니다. 시스템은 특히 변형 가능한 객체(인형, 천)와 정밀 조작(접시 닦기) 작업에서 강력합니다.
중고 산업용 로봇이나 중고 협동로봇을 평가하는 기업에게 Spark와 같은 시스템은 전통적인 프로그래밍이 부적합한 맞춤형 배치 작업에 대한 자동화 진입 장벽을 낮출 수 있습니다.
한계 및 미해결 질문
Spark는 어두운 원단(SAM3 불일치로 검정/회색 티셔츠 성공률 0%)과 숟가락 손잡이, 얇은 칼날과 같은 좁은 객체에 어려움을 겪습니다. 양팔 분류 작업에서는 두 팔이 동일한 작업 공간 절반에서 객체를 추적할 때 충돌이 발생했는데, 이는 추가 외부 카메라가 필요할 수 있는 조정 문제입니다. 깊이 소스는 여전히 구조광 센서에 의존합니다. 단안 깊이(DA3)는 사용 가능하지만 실험에서 사용되지 않아 정확도가 여전히 우려됨을 시사합니다.
더 깊은 질문은 타입화된 문법이 기본 요소 어휘 외부의 작업에 얼마나 잘 일반화되는지입니다. 논문에서는 계획기가 생성한 복합 스킬 "제한된_닦기"를 언급합니다. 트랜스포머가 정말로 즉석에서 새로운 기본 요소를 발명할 수 있을까요? 현재 설계는 유한한 집합을 강제하여 진정한 새로운 조작에 대한 표현력을 제한할 수 있습니다.
자주 묻는 질문
Spark에 학습 데이터가 필요한가요? 아니요. Spark는 사전 학습된 SAM3를 인식에 사용하고, 단일 패스로 행동 트리를 출력하는 트랜스포머(Gemini)를 사용합니다. 미세 조정이나 시연 데이터가 필요 없습니다.
어떤 로봇이 지원되나요? Spark는 UR10e 및 Franka FR3 같은 단일 팔 시스템과 양팔 Franka 설정에서 동일한 코드베이스로 작동합니다.
실행 중 실패를 어떻게 처리하나요? 계층적 복구 레이어가 먼저 작은 교란을 시도하고, 그 다음 팔을 후퇴시킨 후 인식을 다시 실행하며, 최후의 수단으로만 전체 계획을 재생성합니다.
저비용 깊이 카메라로도 작동하나요? 보고된 실험은 Azure Kinect DK 구조광 깊이를 사용합니다. 단안 대체(DA3)는 존재하지만 평가되지 않아 저렴한 센서에서의 정확도는 입증되지 않았습니다.
결론
Spark는 학습 없는 인식 기반 계획기가 여러 로봇 팔에서 인상적인 성공률로 복잡한 순차적 조작을 처리할 수 있음을 증명합니다. 계층적 복구와 단일 패스 행동 트리 생성은 현재 VLA 모델과 차별화되며, 데이터 수집이 비실용적인 환경에서 빠른 배포를 위한 실용적인 경로를 제공합니다.