연구진이 개발한 HarmoWAM은 공유 월드 모델과 두 개의 행동 전문가(일반화 가능한 움직임용, 정밀 상호작용용)를 사용하는 로봇 조작 시스템입니다. 적응형 게이팅 메커니즘이 실시간 시각 피드백에 기반해 두 전문가를 전환하며, 미세한 조작 정밀성을 희생하지 않고 새로운 환경에서 제로샷 일반화를 달성합니다. 이 접근법은 여러 작업과 도메인 외 시나리오에서 기존 월드 액션 모델을 능가합니다.
목차
연구진이 만든 것
HarmoWAM은 단일 학습된 월드 모델 아래 두 가지 상호 보완적 제어 전략을 통합하는 종단 간 월드 액션 모델(WAM)입니다. 이전 WAM은 하나만 가능했습니다. 즉, 거친 움직임으로 새로운 환경에 일반화하거나 익숙한 환경에서 정밀한 상호작용을 실행할 수 있었지만, 둘 다는 불가능했습니다. HarmoWAM 아키텍처는 두 개의 병렬 행동 전문가를 배치하여 이 문제를 해결합니다. 예측 전문가는 장기적이고 거친 이동 동작(예: 작업 공간 전체에서 팔을 목표물로 이동)에 최적화되어 있고, 반응형 전문가는 단기적이고 접촉이 많은 상호작용(예: 잡기, 삽입, 정렬)을 위해 설계되었습니다.
시스템의 핵심 혁신은 프로세스 적응형 게이팅 메커니즘으로, 공유 월드 모델의 시각적 특징을 사용하여 이동 단계와 상호작용 단계를 자동으로 구분합니다. 실행 중 게이팅 분류기는 매 타임스텝마다 96% 이상의 정확도로 두 전문가 간 제어를 라우팅합니다. 월드 모델 자체는 시공간 잠재 특징을 제공하여 두 전문가에게 장면 역학, 객체 관계, 작업 진행에 대한 일관된 이해를 제공합니다.
시스템은 단일 팔 및 양팔 조작을 포함한 여섯 가지 작업(집어 옮기기, 쌓기, 따르기, 삽입)에 대해 훈련되었습니다. 그런 다음 배경 미경험, 객체 위치 미경험, 객체 미경험의 세 가지 도메인 외(OOD) 시나리오에서 테스트되었습니다.
주요 결과
- 게이팅 분류기 정확도: 테스트 데모(1,637 프레임 쌍)에서 96.95%.
- OOD 성능: 가장 어려운 위치 OOD 시나리오에서 단순 평균 같은 대체 라우팅 방법은 작업 성공률이 46% 감소한 반면, 키프레임 기반 평균은 감소폭을 31%로 줄였습니다. HarmoWAM의 프로세스 적응형 게이팅은 두 방법보다 크게 우수했습니다.
- 월드 모델 잠재 특징의 중요성: 반응형 전문가에서 이 특징을 제거하면 ID 성능이 65%로, OOD 평균이 54%로 떨어졌습니다. 예측 전문가에서 제거하면 ID 성능이 95%에서 62%로 떨어졌습니다.
- 세 가지 OOD 차원에서 성공적 일반화: 배경 혼잡 및 조명, 미경험 공간 위치, 다른 모양과 외관의 새로운 객체(예: 당근 → 피망, 코카콜라 캔 → 레드불 캔).
다음 표는 꽃병에 꽃 꽂기와 과일 접시에 담기 작업의 절제 연구를 요약한 것입니다(평균 성능):
| 변형 | ID 성능 | OOD 위치 | OOD 배경 | OOD 객체 |
|---|---|---|---|---|
| 평균 라우팅 | 기준 | -46% 감소 | -38% 감소 | -42% 감소 |
| 키프레임 기반 평균 | 기준 근접 | -31% 감소 | -28% 감소 | -33% 감소 |
| HarmoWAM (프로세스 적응형 게이팅) | 95% | 소폭 감소 | 소폭 감소 | 소폭 감소 |
| HarmoWAM (월드 모델 잠재 특징 없음, 반응형) | 65% | OOD 평균 54% | — | — |
| HarmoWAM (월드 모델 잠재 특징 없음, 예측형) | 62% | — | — | — |
수치는 절제 표에서 근사치이며, 정확한 값은 전체 논문에 있습니다.
작동 방식
HarmoWAM은 각 타임스텝의 장면에 대한 비디오 같은 잠재 표현을 출력하는 단일 공유 월드 모델 위에 구축됩니다. 이러한 잠재 변수는 현재 관찰과 미래 상태 예측을 모두 인코딩하여 시스템에 시간적으로 일관된 세계 이해를 제공합니다.
월드 모델의 잠재 특징은 두 개의 병렬 행동 헤드에 입력됩니다: - 예측 전문가: 개방 루프, 장기적 행동 시퀀스(예: 목표물 접근 궤적)를 출력합니다. 여러 타임스텝에 걸쳐 오류를 최소화하도록 훈련되어 일반화 가능한 움직임 패턴을 학습합니다. - 반응형 전문가: 즉각적인 시각 피드백에 조건화된 폐쇄 루프, 단기적 행동을 출력합니다. 미세한 접촉 인식으로 훈련되어 장면의 미묘한 변화에 반응합니다.
프로세스 적응형 게이팅 메커니즘이 핵심 요소입니다. 훈련 중 시스템은 간단한 휴리스틱(키프레임 전후 20프레임 윈도우, 예: 그리퍼 위치가 직선에서 임계값 이상 벗어날 때)을 사용하여 각 타임스텝을 '이동' 또는 '상호작용'으로 자동 레이블링합니다. 양팔 작업의 경우 한쪽 팔이 상호작용 기준을 충족하면 해당 타임스텝을 상호작용으로 레이블링합니다. 월드 모델 잠재 변수를 입력으로 사용하여 이러한 레이블에 대해 분류기가 훈련됩니다.
추론 시 게이팅 분류기는 매 타임스텝 실행되어 한 전문가를 활성화합니다. 예측 전문가는 이동 단계(거친 고속 움직임) 동안 로봇을 구동하고, 반응형 전문가는 상호작용 단계(접촉 설정, 미세 조정, 놓기) 동안 제어를 인계받습니다. 두 전문가가 동일한 월드 모델의 동일한 잠재 특징에 조건화되어 상태 불연속이 발생하지 않으므로 전환이 원활합니다.
행동 공간은 단일 팔 작업의 경우 7차원, 양팔 작업의 경우 14차원입니다. 훈련은 예측과 실제 행동 간의 Smooth L1 거리 가중 합과 월드 모델의 추가 보조 손실을 사용합니다.
로봇 공학에 중요한 이유
대부분의 현재 조작 시스템은 일반화 가능한 움직임(예: 다양한 자세에서 탐색 또는 집어 옮기기)이나 정밀 상호작용(예: 구멍에 막대 삽입 또는 조립) 중 하나에만 뛰어나며, 둘 다는 아닙니다. 이는 시스템 통합자가 유연성과 정확성 사이에서 선택하거나 조정이 어려운 별도의 제어 스택을 배포해야 함을 의미합니다.
HarmoWAM은 계산적으로 가벼운 게이팅 메커니즘을 사용하여 단일 통합 정책이 두 단계를 모두 처리할 수 있음을 보여줍니다. 실제 응용에서 이는 다음을 의미합니다: - 산업용 로봇이 빈 피킹과 조립을 수행할 때 새로운 부품과 위치에 수동 재조정 없이 적응할 수 있습니다. - 중고 협동로봇 에 이러한 시스템을 장착하여 창고 환경에서 주문 피킹(이동)과 정밀 배치(상호작용)를 모두 처리할 수 있습니다. - 창고 로봇 이 변화하는 레이아웃, 혼잡, 새로운 객체에 대처해야 하는 경우 OOD 테스트에서 보여준 제로샷 일반화의 이점을 얻을 수 있습니다.
이 접근법은 특히 양팔 작업에서 유망합니다. 한쪽 팔이 이동 중이고 다른 쪽이 상호작용 중일 수 있는데, 게이팅 메커니즘이 두 팔을 동시에 처리합니다. 이는 들기, 운반, 조립과 같은 작업을 위해 팔을 조정해야 하는 더 능력 있는 휴머노이드 로봇 을 가능하게 할 수 있습니다.
한계점과 열린 질문
- 작업 범위: 여섯 가지 작업은 다양하지만 여전히 실험실 시연입니다. 고도로 변형 가능한 객체(천, 케이블)나 도구 사용이 필요한 작업에서는 테스트되지 않았습니다.
- OOD 견고성: 게이팅 분류기는 보류 데모에서 96.95%의 정확도를 달성했지만 완전히 새로운 환경에서는 정확도가 떨어질 수 있습니다. 논문은 게이팅 자체의 OOD 정확도를 보고하지 않습니다.
- 실시간 제약: 전체 파이프라인에는 월드 모델과 두 개의 행동 헤드가 포함됩니다. 엣지 하드웨어에서 지연 시간이 고속 조립의 병목이 될 수 있습니다.
- 확장성: 훈련에는 일반화되는 월드 모델이 필요합니다. 현재는 열린 과제입니다. 월드 모델이 새로운 장면에 대해 의미 있는 잠재 변수를 생성하지 못하면 두 전문가 모두 성능이 저하됩니다.
- 이동 중 안전: 예측 전문가는 개방 루프로 작동합니다. 동적 장애물이 작업 공간에 들어오면 시스템이 반응형 전문가로 전환될 때까지 충분히 빠르게 반응하지 못할 수 있습니다.
향후 연구는 게이팅 정책의 종단 간 학습, 더 긴 시간 범위 처리, 이동 조작 또는 보행에 패러다임 적용을 탐구할 수 있습니다.
자주 묻는 질문
HarmoWAM이 해결하는 문제는 무엇인가요? 로봇 학습에서 거칠고 일반화 가능한 움직임과 정밀하고 세밀한 조작 간의 절충을 해결합니다. 이전 월드 액션 모델은 하나는 잘하지만 둘 다는 못했습니다. HarmoWAM은 게이팅 메커니즘을 사용하여 이동용 예측 전문가와 상호작용용 반응형 전문가를 원활하게 결합합니다.
게이팅 메커니즘은 언제 전문가를 전환해야 하는지 어떻게 알 수 있나요? 훈련 중 시스템은 키프레임 주변의 시간 윈도우(예: 그리퍼 속도가 급격히 변할 때)를 사용하여 프레임을 '이동' 또는 '상호작용'으로 자동 레이블링합니다. 공유 월드 모델의 특징을 사용하여 이러한 레이블에 대해 분류기가 훈련됩니다. 추론 시 매 타임스텝 실행되어 그에 따라 전문가를 전환합니다.
HarmoWAM은 양팔 로봇에서도 작동하나요? 네. 양팔 작업의 경우 한쪽 팔이 상호작용 단계에 들어가면 전체 타임스텝을 상호작용으로 레이블링합니다. 그러면 게이팅 메커니즘이 두 팔을 모두 반응형 전문가로 전환하여 조정된 미세 제어를 보장합니다.
실험에 사용된 하드웨어는 무엇인가요? 논문은 정확한 로봇 플랫폼을 명시하지 않았지만, 행동 공간(7 또는 14차원)은 표준 7-DOF 로봇 팔과 평행 그리퍼를 시사하며, 양팔 구성으로 사용되었을 가능성이 있습니다.
새로운 객체에 얼마나 잘 일반화되나요? '미경험 객체' OOD 시나리오에서 HarmoWAM은 당근 대신 피망, 코카콜라 캔 대신 레드불 캔과 같은 대체물을 성공적으로 조작하며 그에 따라 잡기 전략과 상호작용 패턴을 적응시켰습니다.
전체 시스템이 종단 간 훈련되나요? 네. 월드 모델, 두 행동 전문가, 게이팅 분류기는 모두 손실의 가중 합을 사용하여 공동 훈련됩니다. 월드 모델은 두 전문가를 조건화하는 잠재 특징을 제공하여 일관성을 보장합니다.
결론
HarmoWAM은 단일 월드 모델이 적응형 게이팅 메커니즘을 통해 두 상호 보완적 행동 전문가 간 제어를 라우팅함으로써 일반화 가능한 이동 움직임과 정밀 조작을 모두 지원할 수 있음을 보여줍니다. 96% 이상의 게이팅 정확도와 세 가지 도메인 외 시나리오에서 강력한 성능을 바탕으로, 이 연구는 더 이상 일반성과 정밀성을 희생하지 않는 로봇 제어 시스템을 지향합니다.