연구진이 개발한 FlowWAM은 광학 흐름(프레임 간의 밀집 픽셀 수준 움직임)을 단일 표현으로 사용하는 세계 행동 모델입니다. 로봇 명령을 흐름 비디오로 인코딩함으로써, FlowWAM은 저수준 제어와 비디오 생성 사이의 간극을 메우며, 동일한 모델이 행동을 디코딩하고, 비디오 예측을 조건화하며, 레이블이 없는 인간 비디오 데이터로부터 학습할 수 있게 합니다.
목차
연구진이 만든 것
FlowWAM은 사전 훈련된 비디오 생성 트랜스포머인 Wan2.2-TI2V를 기반으로 구축된 50억 파라미터 세계 행동 모델(WAM)입니다. 핵심 혁신은 로봇 행동을 밀집 광학 흐름 비디오로 표현하는 것입니다. 즉, 각 픽셀의 색상이 연속 프레임 간의 움직임 방향과 속도를 인코딩하는 일련의 이미지입니다. 이 흐름 비디오는 세 가지 목적을 동시에 수행합니다.
- 제어 가능성: 모델이 흐름 비디오를 읽고 정밀한 로봇 관절 명령으로 디코딩하여 실제 세계에서 직접 작동할 수 있습니다.
- 레이블 없는 비디오 사전 훈련을 통한 확장성: 광학 흐름은 로봇 행동 레이블이 포함되지 않은 자기중심적 인간 시연을 포함한 모든 비디오에서 추출할 수 있으며, 이를 사용하여 움직임 사전 지식을 사전 훈련할 수 있습니다.
- 세계 모델링을 위한 신뢰성: 밀집 흐름 필드는 비디오 생성기에 픽셀 단위 지침을 제공하여 예측된 미래 프레임이 의도된 행동 궤적을 따르도록 보장합니다.
모델은 이중 스트림 구조를 사용합니다. 하나의 스트림은 RGB 프레임을 처리하고, 다른 스트림은 흐름 프레임(HSV 색 공간으로 인코딩됨)을 처리하며, 두 스트림은 공동 자기 주의를 통해 트랜스포머 블록을 공유합니다. 2단계 훈련 파이프라인은 먼저 로봇 및 인간 비디오에서 일반적인 움직임 표현을 학습한 다음, 행동 전문가를 미세 조정하여 흐름 잠재 변수를 실행 가능한 행동으로 디코딩합니다.
주요 결과
FlowWAM은 조작 정책을 위한 RoboTwin 2.0과 행동 조건부 세계 모델링을 위한 WorldArena 두 가지 벤치마크에서 평가되었습니다.
조작 정책 (RoboTwin 2.0): FlowWAM은 50개의 양손 작업에서 최첨단 성공률을 달성하여 비전-언어-행동 모델(π₀), Motus, X-VLA, GigaWorld-Policy를 포함한 강력한 기준을 능가했습니다. 50개의 시연이 있는 Clean 설정에서 FlowWAM은 최고의 이전 방법과 일치하거나 능가했습니다. 500개의 시연과 물체 포즈, 조명, 방해 요소의 큰 변동이 있는 Random 설정에서는 다른 방법이 크게 저하된 반면 FlowWAM은 견고한 성능을 유지했습니다.
행동 조건부 세계 모델링 (WorldArena): 121프레임 롤아웃에서 비디오 품질과 행동 일관성을 함께 평가하는 WorldArena 벤치마크에서 FlowWAM은 16개 지표 중 가장 높은 전체 EWMScore를 달성했습니다. 이는 일반 비디오 생성기(CogVideoX, Veo 3.1)와 물리 인식 모델(Cosmos-Predict 2.5, ABot-PhysWorld)을 모두 능가했습니다. 특히 FlowWAM은 행동 정렬을 측정하는 지표(JEPA 유사도 및 추적 일관성)에서 현저히 높은 점수를 기록하여, 밀집 흐름 조건화가 요청된 행동 궤적을 따르도록 비디오 생성을 엄격하게 유도함을 확인했습니다.
실제 세계 전이: 연구진은 두 개의 로봇 플랫폼(Franka Research 3 및 ARX 5 양팔)을 사용하여 7가지 실제 조작 작업에서 FlowWAM을 테스트했습니다. 그릇 쌓기, 서랍에 넣기, 수건 접기, 접시 닦기 작업에서 FlowWAM은 특히 접촉이 많은 작업과 양손 협응 작업에서 개방 루프 기준선이 실패한 곳에서 성공했습니다.
작동 방식
FlowWAM은 훈련과 추론의 두 단계로 작동합니다. 구조는 인과 VAE와 UMT5-XXL 텍스트 인코더를 갖춘 50억 파라미터 비디오 확산 트랜스포머(DiT)를 기반으로 합니다.
1단계 – 움직임 표현 학습: 이중 스트림 생성기는 초기 프레임과 언어 명령에서 RGB 및 흐름 비디오를 모두 생성하는 방법을 학습합니다. 흐름 경로는 별도의 패치 임베딩과 출력 헤드를 사용하며, 둘 다 해당 RGB 가중치에서 초기화되고, 스트림 정체성을 유지하기 위해 학습 가능한 흐름 토큰 임베딩이 추가됩니다. 훈련은 두 데이터 소스에 대해 흐름 일치 목표를 사용합니다. 로봇 시연 비디오(알려진 행동 레이블 포함)와 광학 흐름이 추출된 대규모 자기중심적 인간 비디오(행동 레이블 필요 없음)입니다.
2단계 – 행동 전문가 훈련: 경량 행동 전문가 네트워크는 고정된 VAE 인코더의 은닉 상태를 읽습니다. 훈련 중에는 깨끗한 시각적 잠재 변수를 보지만, 추론 중에는 이중 스트림 모델(잔여 노이즈가 있을 수 있음)이 생성한 잠재 변수를 읽습니다. 이러한 분포를 정렬하기 위해 일부 훈련 단계에서 비디오 생성기 입력에 노이즈를 혼합하고, 노이즈 수준을 보조 임베딩으로 행동 전문가에 전달합니다. 이 간단한 기술은 분포 이동을 방지하고 행동 디코딩을 안정화합니다.
추론 파이프라인: 1. 사용자가 초기 관찰 이미지와 언어 명령을 제공합니다. 2. 이중 스트림 생성기가 명령에 조건화된 흐름 비디오를 노이즈 제거하여 밀집 움직임 계획을 생성합니다. 3. 동시에 RGB 스트림이 해당 미래 비디오 프레임을 생성합니다. 4. 행동 전문가가 흐름 잠재 변수를 읽고 일련의 로봇 관절 행동(위치, 속도 또는 토크 명령)으로 디코딩합니다. 5. 로봇이 행동을 실행합니다. 예측된 비디오는 검증 또는 모델 예측 제어에 사용될 수 있습니다.
데이터 효율성: 흐름은 모든 비디오에서 발견되는 자연스러운 움직임 표현이므로, FlowWAM은 행동 레이블이 없는 인간 비디오 데이터(예: 자기중심적 요리, 조립)로 사전 훈련될 수 있습니다. 이는 하위 작업에 필요한 로봇 시연 수를 크게 줄여줍니다. 이는 실제 배포에서 중요한 이점입니다.
로봇공학에서의 중요성
FlowWAM은 로봇 학습에서 가장 어려운 미해결 문제 중 하나인 제어, 예측 및 레이블 없는 데이터 전반에 걸쳐 행동 표현을 통합하는 방법을 해결합니다. 대부분의 현재 시스템은 정책(관절 벡터, 엔드 이펙터 자세)과 예측(비디오 픽셀, 깊이 맵)에 대해 별도의 표현을 사용합니다. 이러한 불일치로 인해 로봇은 데이터 효율성(비디오 사전 훈련)과 정밀 제어(저수준 명령) 사이에서 선택해야 합니다. FlowWAM은 이러한 균형을 제거합니다.
로봇 배포에 대한 실질적 의미: - 데이터 수집 비용 절감: 로봇 소유자는 기존 비디오 데이터 세트(YouTube 요리 튜토리얼, 공장 라인 영상)를 활용하여 값비싼 원격 조작 없이 움직임 사전 지식을 구축할 수 있습니다. - 시뮬레이션-현실 전이 개선: 동일한 흐름 표현이 시뮬레이션과 현실에서 작동하여 시뮬레이션-현실 파이프라인을 단순화합니다. - 더 예측 가능한 로봇 동작: FlowWAM이 행동 전에 가시적인 움직임 계획을 생성하므로, 운영자는 실행 전에 로봇 행동을 미리 보고 검증할 수 있습니다. 이는 인간-로봇 공유 작업 공간에서 안전에 중요합니다. - 교차 체현 전이: FlowWAM의 행동 전문가는 최소한의 재조정으로 두 가지 다른 로봇 플랫폼(Franka 단일 팔 및 ARX 양팔)에서 작동하는 것으로 나타났습니다.
자동화를 평가하는 기업에게 이는 수천 개의 수동 수집 시연 대신 기존 비디오 데이터에서 학습할 수 있는 더 유연한 로봇 셀을 의미합니다. 이러한 학습 접근 방식의 혜택을 받을 수 있는 플랫폼을 보려면 Robot Overflow의 중고 산업용 로봇을 확인하거나, 범용 플랫폼을 탐색 중이라면 휴머노이드 로봇을 살펴보세요.
한계 및 미해결 질문
FlowWAM에는 몇 가지 현재 한계가 있습니다. 첫째, 50억 파라미터 모델은 상당한 GPU 메모리(여러 A100)가 필요하여 엣지 컴퓨팅이나 소형 로봇에 배포하기에 비실용적입니다. 둘째, 흐름 디코딩은 효과적이지만 직접 행동 예측에 비해 추가 추론 단계를 도입하여 지연 시간을 증가시킵니다. 저자들은 명시적 비디오 생성을 건너뛰는 Fast-WAM이 더 빠르지만 정확도는 떨어진다고 보고합니다. 셋째, 현재 작업은 테이블 위 조작만 평가합니다. 변형이 있는 접촉이 많은 작업(예: 로프, 천)은 광학 흐름이 비강체 움직임에 어려움을 겪기 때문에 여전히 도전적입니다. 넷째, 모델의 시간적 지평은 24fps에서 5초로 제한됩니다. 수 분에 걸친 장기 계획은 계층적 확장이 필요합니다. 마지막으로, 사전 훈련된 비디오 생성기(Wan 계열)에 대한 의존성은 객체 영속성 및 긴 롤아웃에서의 물리 일관성과 같은 기본 모델의 약점에 성능이 묶여 있음을 의미합니다.
자주 묻는 질문
광학 흐름이 관절 각도나 엔드 이펙터 위치보다 더 나은 행동 표현인 이유는 무엇인가요? 광학 흐름은 비디오 데이터와 동일한 도메인인 이미지 공간에 존재합니다. 이를 통해 동일한 신경망이 레이블 없는 비디오에서 움직임 패턴을 학습하고 로봇 제어에 적용할 수 있으며, 서로 다른 좌표계 간 변환이 필요하지 않습니다.
FlowWAM은 테스트된 두 팔뿐만 아니라 모든 로봇에서 작동할 수 있나요? 원칙적으로 그렇습니다. 흐름 표현은 하드웨어에 구애받지 않으며 픽셀 움직임만 고려합니다. 행동 전문가는 대상 로봇의 운동학에 맞게 미세 조정되어야 하지만, 1단계의 움직임 사전 지식은 체현 간에 전이됩니다.
개선 효과를 보려면 얼마나 많은 레이블 없는 비디오 데이터가 필요한가요? 논문에 따르면, 자기중심적 인간 비디오(300시간 데이터)를 추가하면 작업 복잡도에 따라 로봇 시연만으로 훈련한 경우보다 정책 성공률이 5~15% 향상됩니다.
모델이 무인 작동에 충분히 안전한가요? 아직 아닙니다. 생성된 흐름 계획은 실행 전에 시각적으로 검사할 수 있어 안전 계층을 추가하지만, 입력이 분포 외일 경우 행동 전문가가 예상치 못한 행동을 생성할 수 있습니다. 실제 배포를 위해서는 강력한 모니터링 및 오류 복구가 필요합니다.
결론
FlowWAM은 광학 흐름을 제어, 세계 모델링 및 레이블 없는 비디오 사전 훈련을 연결하는 강력한 통합 행동 표현으로 확립합니다. 로봇 움직임을 밀집 픽셀 흐름으로 인코딩함으로써 동일한 모델이 행동을 디코딩하고, 미래 비디오를 예측하며, 인간 시연으로부터 학습할 수 있습니다. 이는 현재 접근 방식을 괴롭히는 표현 격차 없이 가능합니다. RoboTwin 및 WorldArena 벤치마크의 결과는 이 통합 접근 방식이 별도의 또는 덜 표현적인 행동 인코딩을 사용하는 방법보다 크게 우수함을 보여줍니다.