빠른 로봇 제어에는 장면이 어떻게 변하고 있는지 이해하는 것이 중요합니다. 단일 이미지는 물체의 위치를 보여 줄 수 있지만, 물체의 움직임이나 상호작용의 진행 상황은 모호하게 남을 수 있습니다. 월드-액션 모델(WAM)은 비디오 예측을 폐루프 제어에 적용해 시각적 이력을 동작 생성에 활용할 수 있게 합니다. 하지만 이력을 더 많이 처리하면 이를 통해 개선하려는 응답이 늦어질 수 있습니다. 이 연구는 시각적 맥락에 따라 WAM 제어 성능이 어떻게 확장되는지, 그리고 실시간 제약에서도 그 이점을 어떻게 유지할 수 있는지 살펴봅니다.
자기회귀 비디오 생성으로 WAM 맥락 확장
Long-WAM은 맥락 확장성을 이력을 통해 물리적 변화를 예측하는 능력과 연결합니다. 먼저 긴 시퀀스의 자기회귀 비디오 사전학습을 통해 로봇의 움직임과 상호작용 역학을 학습한 다음, 인과적 시간 구조를 유지하면서 이 예측 기반을 동작 생성에 적용합니다. 그 결과, 정책은 관측된 이력과 예측된 미래를 모두 바탕으로 동작을 생성하며, 예측은 제어를 위한 중간 표현으로 기능합니다. 이어서 추가 이력의 이점이 비디오 초기화 방식에 따라 어떻게 달라지는지 분석해, 더 긴 맥락을 이용할 수 있는 것과 이를 효과적으로 활용하는 능력을 구분합니다.
월드-액션 모델의 맥락 확장
인과적 프리픽스에서 실제 관측 구간의 길이를 조정하되, 각 벤치마크에서 시각적 예측 구간과 동작 구간은 고정합니다. 이를 통해 모델의 예측 범위나 동작 범위를 바꾸지 않고 과거 증거를 추가하는 것이 동일한 단기 제어 결정의 품질을 높이는지 평가합니다.
각 윈도우는 별도로 학습한 모델을 해당 모델의 학습 맥락 길이로 평가합니다. 이력이 없는 경우에도 현재 관측은 유지합니다. 에피소드 초반의 이력이 없으면 첫 프레임을 반복합니다.
효율적인 엣지 배포
로컬 추론은 네트워크 지연을 피할 수 있지만, 비디오 우선 예측은 제한된 온보드 연산 자원에서 비용이 많이 듭니다. Long-WAM은 NVIDIA GeForce RTX 5090, DGX Spark, Jetson AGX Thor에서 가속해 시각적 상상을 유지하면서 짧은 구간이 겹치도록 실행할 수 있게 합니다. 공통 최적화는 반복되는 연산과 데이터 이동 비용을 줄이고, 장치별 튜닝은 플랫폼 제약을 고려해 이식성과 하드웨어 효율성 사이의 균형을 맞춥니다.
이 구현은 연결된 KV 버퍼 없이 공동 어텐션을 유지합니다. 또한 메모리 접근을 병합하고, 스케일/바이어스 및 형 변환 연산을 융합하며, 형상과 백엔드 제약을 고려해 VAE 레이아웃과 패딩을 단순화합니다.
구현 세부 사항
LongLive2.0-Robot 사전학습에는 64 NVIDIA H100 GPU에서 약 30,720 GPU-hours가 소요됩니다. 다운스트림 WAM은 16 GB200 GPU에서 학습합니다. WAM 학습에는 AdamW, 명시되지 않은 값의 최대 학습률, 코사인 감쇠, 5% 워밍업, BF16 정밀도, 1.0의 그래디언트 클리핑을 사용합니다.
로봇 실험에는 Unitree G1 휴머노이드와 YAM 양팔 조작기를 사용합니다. 논문의 부록 D에는 기준선 참고 문헌이 나와 있습니다.
원자적 실행과 조합적 계획
Long-WAM 단독으로 Atomic-Seen에서 67.9%의 성공률을 달성합니다. 이는 명시되지 않은 방법의 39.6%와 GPT-6 Astra 단독의 31.5%보다 높아, 탄탄한 물리적 기술 기반을 제공합니다. 같은 정책을 15스텝마다 호출하면 플래너 없이도 84.4%를 달성해 계층형 시스템의 85.6%에 근접합니다.
실제 환경 배포
Unitree G1의 동적 조작과 YAM의 장기 과제를 정책 및 조건별 20회 시행으로 평가합니다.
사전학습 데이터
사전학습 코퍼스에는 다섯 개 데이터셋 계열에서 수집한, 학습에 바로 사용할 수 있는 텍스트·이미지-투-비디오 샘플 2,294,889개가 포함됩니다. 논문은 AgiBot World 하위 데이터셋 두 개를 포함해 여섯 개의 원천 하위 데이터셋을 보고합니다. 학습, 검증, 테스트 분할에는 각각 2,251,021개, 21,931개, 21,937개의 샘플이 포함됩니다.
약 10,000시간이라는 학습 규모는 윈도우 환산 추정치입니다. 학습 샘플마다 16초를 할당하면 총 10,004.5시간이 됩니다. 이는 중복되지 않는 원본 영상의 실제 재생 시간을 측정한 값이 아닙니다. 겹치는 윈도우, 원본 클립 길이, 패딩이 이 구분에 영향을 줍니다.
사전학습은 동작 감독 없이 비디오 예측을 사용하므로, 데이터 원천 간 동작 좌표계나 액추에이터 차원이 같을 필요가 없습니다. 동작 공간에 구애받지 않는 감독은 이 단계의 특성입니다. 보지 못한 로봇 형태로의 전이 성능 향상을 주장하려면 별도의 평가가 필요합니다.
동적 복합 조작
논문은 Unitree G1을 이용한 동적 컵 쌓기를 설명합니다. Long-WAM은 파란 컵을 잡고, 움직이는 초록 컵을 가로채 파란 컵 안에 포개 넣는 동작을 조율합니다. 반면 기준선의 실행에서는 초록 컵을 가로채는 데 실패합니다.
장기 조작
Long-WAM은 연속적인 물체 상호작용이 필요한 YAM 과제 세 가지를 수행합니다. 이 시퀀스는 앞서 설명한 빠른 동적 동작과 더불어, 반복적인 집기와 놓기를 통해 과제를 수행하는 과정을 보여 줍니다. 이 과제들은 평균 40초 넘게 지속됩니다.
자주 묻는 질문
Long-WAM은 로봇 동작을 안내하는 데 무엇을 사용하나요? 관측된 이력과 예측된 미래를 바탕으로 동작을 생성하며, 예측을 제어를 위한 중간 표현으로 사용합니다.
맥락 확장 평가는 어떻게 진행하나요? 각 벤치마크에서 시각적 예측 구간과 동작 구간은 고정한 채 인과적 프리픽스 내 관측 구간의 길이를 바꿉니다.
실험에는 어떤 로봇을 사용하나요? 실험에는 Unitree G1 휴머노이드와 YAM 양팔 조작기를 사용합니다.
Long-WAM은 Atomic-Seen 과제에서 어떤 성능을 보이나요? Long-WAM 단독으로 Atomic-Seen에서 67.9%의 성공률을 달성하며, 15스텝마다 호출하면 플래너 없이도 84.4%를 달성합니다.