RoboWits는 반복적인 집어-놓기 작업을 넘어 예상치 못한 변수가 포함된 창의적 문제 해결 과제를 통해 로봇을 평가하는 새로운 벤치마크입니다. 현재의 비전-언어-행동 모델(VLA)은 물론 대규모 사전 훈련된 로봇 기반 모델도 훈련 중에 보지 못한 새로운 물리적 상황을 추론해야 할 때 심각한 어려움을 겪습니다.
목차
연구진이 구축한 것
프린스턴 대학과 협력 기관의 연구진은 RoboWits를 개발했습니다. 이는 단순한 모방이 아닌 창의적 추론이 필요한 조작 문제를 해결하는 로봇의 능력을 평가하기 위한 시뮬레이션 기반 벤치마크입니다. 벤치마크는 30개의 '시드(seed)' 태스크로 구성되며, 각각 명확한 물리적 목표(예: 좁은 용기에서 큐브 꺼내기, 도미노 줄 쓰러뜨리기, 세 개의 블록을 일직선으로 정렬)가 있지만 단일 '올바른' 실행 방법은 없습니다.
평가를 진정으로 어렵게 만들기 위해 저자들은 세 가지 유형의 예상치 못한 수정을 체계적으로 도입하는 자동 태스크 생성 파이프라인을 구축했습니다. 피봇(Pivot) 변이는 로봇이 완전히 다른 전략을 채택하도록 강제합니다(예: 큐브 용기가 접착되어 들어 올려 따르는 것이 불가능해짐). 트랩(Trap) 변이는 유용해 보이지만 실제로는 비효율적이거나 잘못된 접근으로 유도하는 물체를 추가합니다(예: 좁은 구멍에 들어가지 않는 숟가락). 추가(Add) 변이는 단순히 무작위 방해 물체로 장면을 복잡하게 만듭니다.
미세 조정을 지원하기 위해 30개 시드 태스크 각각에 대해 인간 원격 조작 데모가 수집되었습니다. 로봇 플랫폼은 두 개의 7자유도 마빈(Marvin) 팔로 구성된 이중 팔 시스템이며, 손목 장착 카메라 2대와 베이스 카메라 1대 등 세 대의 카메라를 통해 16차원 행동 공간을 제공합니다.
주요 결과
주요 발견은 명확합니다. 피봇 변이 태스크에서 50% 이상의 성공률을 달성한 모델은 없으며, 추론 수준의 변화가 도입되면 전반적인 성능이 급격히 떨어집니다.
- Pi0 및 Pi0‑FLOW와 같은 사전 훈련된 VLA는 시드 태스크에서 어느 정도 성공(태스크에 따라 약 30~70%)을 거두지만 모든 변이 유형에서 성능이 급락합니다.
- ACT와 같은 트랜스포머 기반 정책도 일반화에 실패합니다. 시연된 전략은 모방할 수 있지만 물리적 제약 조건이 바뀌면 적응하지 못합니다.
- VLM 기반 모듈식 플래너(고수준 계획에 GPT-4o 또는 Gemini 3 Pro 사용, 오라클 완벽 실행 또는 스크립트 기반 저수준 제어 사용)는 엔드투엔드 VLA보다 시드 태스크에서 더 나은 성능을 보이지만, 가장 어려운 변이에서는 여전히 60% 미만에 머뭅니다.
| 모델 | 시드 (평균) | 피봇 | 트랩 (1-2개 물체) | 트랩 (3개 물체) |
|---|---|---|---|---|
| ACT (청킹 정책) | ~35% | <10% | ~20% | ~10% |
| Pi0 (3B VLA) | ~45% | <15% | ~25% | ~15% |
| 완벽 기본 동작을 사용한 VLM 플래너 | ~65% | ~30% | ~45% | ~30% |
(논문의 정성적 결과에서 추출한 근사치; 정확한 비율은 태스크마다 다름)
데모 수를 50개에서 200개로 늘려도 시드 태스크에서는 개선이 있었지만 변이 태스크에서는 의미 있는 향상이 없었으며, 이는 병목 현상이 데이터 규모가 아닌 추론임을 증명합니다.
작동 방식
RoboWits는 파운데이션 모델을 사용하여 자율적으로 실행되는 다중 에이전트 태스크 생성 파이프라인을 기반으로 합니다. 5개의 특화 에이전트가 협력합니다:
- 시드 태스크 생성기 – 물리 기반 환경에서 초기 조작 목표를 제안합니다.
- 태스크 검증기 – 시드 태스크가 해결 가능하고 모호하지 않은지 확인합니다.
- 메트릭 생성기 – 성공 기준을 정의합니다(예: 블록이 목표 지점에서 2cm 이내).
- 태스크 변이기 – 규칙 기반 논리와 LLM 제안의 조합을 사용하여 세 가지 변이 전략(피봇, 트랩, 추가) 중 하나를 적용합니다.
- 장면 생성기 – 각 시행에 대해 물체를 배치하고 위치와 회전을 무작위화합니다.
각 변이 유형은 서로 다른 실패 모드를 대상으로 합니다. 피봇 변이는 장면의 기능적 기하학을 변경합니다. 예를 들어 열린 용기를 뒤집어 따르기가 불가능하게 만들어 로봇이 완전히 새로운 물리적 전략을 발견하도록 강제합니다. 트랩 변이는 물리적으로 가능하지만 오해의 소지가 있는 물체를 추가합니다. 예를 들어, 사용할 수는 있지만 실제로는 태스크를 복잡하게 만드는 물컵을 추가합니다. 추가 변이는 사전 정의된 목록(IKEA 접시, TV 리모컨, 주전자, 레몬 등)에서 무작위 방해 물체를 주입하여 단순히 혼란을 증가시킵니다.
현재 벤치마크는 훈련 및 미세 조정에 사용되는 10개의 시드 태스크와 30개 이상의 변형을 포함합니다. 각 태스크는 무작위화된 물체 위치와 회전으로 여러 시행에 걸쳐 평가됩니다. 로봇 플랫폼은 사실적인 상호 작용을 위한 연체 동역학을 갖춘 고성능 물리 시뮬레이터에서 작동합니다.
로봇 공학에서의 중요성
창고, 공장, 가정에 배치되는 로봇은 훈련 데이터와 다른 상황을 필연적으로 마주하게 됩니다 – 예상치 못한 물체가 통로를 막거나, 도구가 의도대로 작동하지 않거나, 완전히 새로운 접근 방식이 필요한 태스크 등이 있습니다. 오늘날 최고의 로봇 정책은 시연된 궤적의 모방 또는 좁은 분포 내에서의 폐쇄 루프 제어에 의존하기 때문에 이러한 시나리오에서 치명적으로 실패합니다.
RoboWits 벤치마크는 추론이 현재 로봇 AI의 가장 약한 고리임을 명확히 보여줍니다. '완벽한' 저수준 제어를 갖춘 VLM 기반 플래너조차 피봇 변이가 원래 전략을 무효화할 때 재계획에 어려움을 겪습니다. 이는 로봇을 구매하거나 배치하는 모든 조직에 중요합니다. 현재 세대의 휴머노이드 로봇과 중고 협동로봇은 반복적이고 잘 정의된 태스크에서는 뛰어나지만, 즉흥적으로 '알아서 해결'하라는 요청을 받으면 실패할 것으로 예상해야 합니다.
로봇 공학 연구자와 엔지니어에게 이 벤치마크는 지각, 추론, 제어를 결합한 미래 모델을 테스트할 수 있는 구체적인 평가 도구를 제공합니다. 다음 큰 도약은 단순히 픽셀을 관절 각도에 매핑하는 대신 행동을 실행하기 전에 대체 물리적 전략을 내부적으로 시뮬레이션할 수 있는 아키텍처에서 비롯될 가능성이 높습니다.
한계 및 미해결 질문
RoboWits는 완전히 시뮬레이션 기반입니다 – 시뮬레이션-현실 간극은 여전히 큽니다. 이 벤치마크는 고급 물리 엔진과 연체 렌더링을 사용하지만, 실제 접촉 역학(마찰, 변형 가능 재료, 센서 노이즈)은 시뮬레이션이 완전히 포착할 수 없는 도전 과제를 도입합니다. 또한 연체 시뮬레이션의 계산 비용으로 인해 대규모 평가가 강체 벤치마크보다 느립니다.
또한 벤치마크는 단일 에피소드 문제 해결만 테스트합니다. 로봇은 시행당 한 번의 기회를 가집니다. 실제 시스템은 시행착오 학습이나 인간 개입 루프의 이점을 누릴 수 있지만, 여기서는 평가되지 않습니다. 마지막으로 변이 파이프라인은 자동화되어 있지만 여전히 편향이나 품질 낮은 태스크를 생성할 수 있는 파운데이션 모델에 의존합니다. 저자들은 초기 반복에서 수동 검증이 필요했다고 보고합니다.
자주 묻는 질문
RoboWits는 정확히 무엇을 측정하나요? 예상치 못한 물리적 변화에 직면했을 때 로봇이 창의적으로 추론하는 능력, 즉 전략을 전환하고(피봇), 오해의 소지가 있는 물체를 피하며(트랩), 관련 없는 혼란을 무시하는(추가) 능력을 측정합니다.
왜 현재의 VLA는 이러한 태스크를 해결하지 못하나요? 시연된 움직임 패턴의 모방에 의존하기 때문입니다. 장면의 제약 조건이 바뀌면 동일한 궤적을 시도하거나(실패) 분포 외 시각적 입력으로 인해 정지합니다. 실제 물리적 추론이 부족합니다.
벤치마크는 공개적으로 사용 가능한가요? 네, 저자들은 연구 커뮤니티의 훈련 및 미세 조정을 지원하기 위해 시뮬레이션 환경, 태스크 설명, 인간 원격 조작 데모를 공개할 계획입니다.
RoboWits는 두 팔 로봇에서만 작동하나요? 벤치마크는 이중 팔 설정을 사용하지만 태스크는 로봇 형태에 구애받지 않도록 설계되었습니다. 많은 태스크가 단일 팔 또는 적절한 그리퍼를 갖춘 창고 로봇에 적용될 수 있습니다.
결론
RoboWits는 현재 로봇 AI의 근본적인 격차를 드러냅니다. 강력한 비전-언어-행동 모델조차 예상치 못한 물리적 변화가 발생할 때 창의적 문제 해결에 실패합니다. 이 벤치마크는 실제 세계에서 추론하고, 적응하며, 새로운 전략을 고안할 수 있는 로봇을 향한 진전을 측정하기 위한 명확하고 재현 가능한 테스트베드를 제공합니다.