최근 로보틱스 연구실의 연구진이 월드 파일럿(World Pilot)이라는 훈련 방식을 개발했습니다. 이 방식은 비전-언어-행동(VLA) 모델에 세계-행동 모델(WAM)의 사전 지식을 주입하여 성능을 크게 향상시킵니다. 그 결과 LIBERO-Plus 벤치마크에서 최첨단 성능을 달성했으며, 모든 실제 로봇 환경에서 가장 높은 성공률을 기록했습니다. 이 모든 것이 기본 VLA 아키텍처를 변경하지 않고 이루어졌습니다.
목차
연구진이 만든 것
월드 파일럿은 두 가지 조향 메커니즘(잠재 조향 및 행동 조향)을 통해 표준 VLA 정책 학습을 강화하는 훈련 프레임워크입니다. 이 메커니즘은 사전 훈련된 세계-행동 모델의 세계 지식을 VLA의 지각 및 행동 생성 경로로 전달합니다.
핵심 아이디어는 간단합니다. 현재 VLA 모델은 종종 지각과 행동을 언어로 연결된 별개의 파이프라인으로 처리하지만, 세계가 어떻게 작동하는지(예: 객체 물리, 공간 연속성)에 대한 깊은 이해가 부족합니다. 월드 파일럿은 이 격차를 해소하기 위해 미래 잠재 상태와 행동 궤적을 모두 예측하는 WAM을 훈련시킨 후, 이 모델을 사용하여 커스텀 교차 주의 레이어(잠재 조향)와 소프트 궤적 수준 조건화(행동 조향)를 통해 훈련 중 VLA를 안내합니다.
중요한 점은 이 접근 방식이 VLA의 추론 시 아키텍처 변경을 필요로 하지 않는다는 것입니다. 조향 메커니즘은 훈련 중에만 사용됩니다. 배포 시 VLA는 그대로 실행되지만, 내부 표현은 WAM의 사전 지식에 의해 재형성되어 더 강력하고 작업 인식적인 동작을 보여줍니다.
주요 결과
월드 파일럿은 시각-운동 조작 작업의 표준 모음인 LIBERO-Plus 벤치마크에서 최첨단 성능을 달성했습니다. 여러 주방 조작 작업을 포함한 실제 로봇 실험에서, 이 시스템은 모든 환경에서 가장 높은 성공률을 기록했으며, 다음으로 좋은 기준 모델을 눈에 띄는 차이로 능가했습니다.
논문의 정확한 수치는 단순한 집기-놓기부터 객체 추론과 도구 사용이 필요한 장기 작업까지 모든 난이도에서 일관된 향상을 보여줍니다. 특히 VLA 단독으로 객체 역학을 놓치거나 다단계 시퀀스에서 오류가 누적되는 경향이 있는 작업에서 개선 효과가 두드러집니다.
조향 메커니즘이 훈련 중에만 작동하기 때문에 추론 시간 지연 시간은 기본 VLA와 동일하게 유지됩니다. 이는 실시간 성능이 중요한 실제 배포에 매우 중요한 요소입니다.
작동 원리
월드 파일럿의 훈련 파이프라인은 세 가지 구성 요소로 구성됩니다.
1. 세계-행동 모델(WAM) – 현재 관찰과 언어 명령으로부터 미래 잠재 표현과 행동 시퀀스를 예측하도록 훈련된 별도의 모델입니다. WAM은 장면 역학과 가능한 행동 흐름의 압축된 표현을 학습하며, 픽셀 수준 예측을 생성할 필요가 없습니다.
2. 잠재 조향 – VLA 훈련 중에 비전-언어 모델(VLM) 토큰과 WAM의 잠재 표현 z 사이에 교차 주의 레이어가 추가됩니다. 이를 통해 각 VLM 토큰은 단일 전역 변조를 받는 대신 자신의 공간 영역과 가장 관련 있는 z의 일부에 선택적으로 주목할 수 있습니다. 잔차 형태는 원래 VLM 토큰 순서와 은닉 상태 구조를 보존하므로, 출력은 추가 조정 없이 표준 VLA 행동 생성 경로로 직접 전달됩니다.
3. 행동 조향 – WAM에서 파생된 소프트 궤적 수준 컨텍스트가 VLA의 행동 생성기에 공급됩니다. 이 컨텍스트는 행동을 대체하지 않고 안내합니다. 실행된 궤적은 표준 행동 감독 하에 훈련된 VLA 행동 생성기의 출력으로 남습니다.
결합된 조향 효과는 VLA가 자체 작업별 데이터와 WAM이 포착한 더 넓은 세계 지식 모두에서 학습하여 보이지 않는 변형에 더 잘 일반화되고 실수에서 더 우아하게 회복하는 정책을 생성합니다.
로봇 공학에 중요한 이유
현재 VLA 모델은 강력하지만 객체 행동에 대한 상식적 이해가 필요한 작업에서 종종 어려움을 겪습니다. 예를 들어, 컵이 가장자리에 가깝게 잡히면 기울어진다는 것이나 천이 단단하지 않고 드레이프된다는 것을 아는 것입니다. 월드 파일럿은 수동 코딩된 물리나 실패 사례 데이터의 대규모 수집 없이 세계 행동 사전 지식을 모델의 내부 추론에 직접 증류하여 이 문제를 해결합니다.
로봇 운영자와 엔지니어에게 이는 다음을 의미합니다.
- 즉시 더 높은 작업 성공률, 특히 혼잡하거나 동적인 환경에서.
- 추론 비용 증가 없음 – 조향은 순수하게 훈련 시간 기술입니다.
- 기존 VLA 아키텍처와 호환 가능 – 월드 파일럿은 전체 스택을 재설계하지 않고도 현재 세대 VLA 모델에 적용할 수 있습니다.
이 접근 방식은 대규모 세계 모델(다양한 로봇 데이터나 합성 시뮬레이션으로 훈련됨)을 사용하여 더 작고 배포 가능한 시스템의 성능을 높이는 문을 엽니다. 이는 단지 픽셀만이 아닌 세계를 이해하는 로봇을 향한 실용적인 경로입니다.
실제 조작을 처리할 수 있는 로봇 배포에 관심이 있으십니까? 휴머노이드 로봇을 살펴보거나 고급 AI 컨트롤러의 혜택을 받을 수 있는 중고 협동 로봇을 확인해 보세요.
한계 및 미해결 질문
논문은 세계-행동 모델이 별도의 사전 훈련을 필요로 하여 추가 데이터 및 계산 오버헤드가 발생한다는 점을 인정합니다. 조향 메커니즘은 작업 도메인마다 조정이 필요할 수 있는 하이퍼파라미터(예: 잠재 컨텍스트 주입 시점)를 도입합니다.
이 접근 방식이 테스트된 벤치마크를 넘어 개방형 어휘 작업으로 얼마나 잘 확장되는지, 또는 WAM 사전 지식이 매우 참신한 시나리오에서 VLA를 보수적인 행동으로 편향시킬 가능성이 있는지는 여전히 미해결 질문입니다. 저자들은 또한 현재 실험이 탁상 조작에 초점을 맞추고 있으며, 모바일 또는 휴머노이드 플랫폼으로의 확장은 향후 과제라고 언급합니다.
자주 묻는 질문
세계-행동 모델이란 무엇인가요? 세계-행동 모델은 미래 잠재 상태(장면 진화)와 가능한 행동 시퀀스를 모두 예측하도록 훈련된 신경망으로, 로봇 조작 도메인의 기본 역학을 포착합니다.
잠재 조향은 표준 교차 주의와 어떻게 다른가요? 잠재 조향은 WAM의 잠재 벡터를 VLM 토큰과의 교차 주의를 위한 키/값 소스로 사용하지만, 원래 토큰 순서를 보존하는 잔차 방식으로 수행됩니다. 이는 VLA의 내부 구조를 방해하지 않고 공간 인식 변조를 가능하게 합니다.
월드 파일럿을 사용하려면 추론 시 VLA 모델 아키텍처를 변경해야 하나요? 아니요. 조향 메커니즘은 훈련 중에만 적용됩니다. 추론 시 VLA는 이전과 동일하게 실행되지만, 내부 표현이 세계-행동 사전 지식에 의해 개선되었습니다.
실제 로봇 실험에는 어떤 하드웨어가 사용되었나요? 실험은 RGB-D 카메라와 6자유도 그리퍼를 갖춘 표준 로봇 암으로 수행되었으며, 이는 현대 조작 연구 설정의 전형입니다. 특수 하드웨어는 필요하지 않았습니다.
결론
월드 파일럿은 아키텍처 변경이나 추론 오버헤드 없이 세계 지식을 VLA 정책에 주입하는 깔끔하고 효과적인 방법을 보여줍니다. 세계-행동 모델을 목표 지향적인 조향을 통해 활용함으로써 주요 벤치마크와 실제 로봇 작업에서 새로운 최첨단 결과를 설정합니다. 이 연구는 로봇 AI가 단순한 데이터 패턴이 아닌 세계에 대한 더 깊은 이해에 의해 안내될 수 있는 미래를 가리킵니다.