월드 액션 모델(WAM)은 최근 로봇 액션과 미래 관측을 공동으로 예측하며 로봇 조작을 발전시켜 왔습니다. 이러한 공동 모델링은 액션 생성에 시각적 맥락을 제공하여, 정책이 장면의 변화를 예측하도록 돕습니다. 그러나 동적 환경에 배치하려면 폐루프 제어가 필요합니다. 로봇은 실행 오류를 수정하고 환경 변화에 대응하기 위해 최신 관측을 바탕으로 반복해서 재계획해야 합니다.
반복적인 재계획은 표준 WAM에서 계산 병목을 유발합니다. 공동 디노이징 샘플러는 각 재계획 주기마다 전체 예측 구간을 순수한 노이즈에서 깨끗한 데이터로 완전히 변환합니다. 각 디노이징 단계는 전체 비디오-액션 시퀀스를 처리하므로, 모델을 반복해서 평가하는 데 많은 계산 비용이 듭니다. 그 결과 추론 지연으로 인해 액션 업데이트가 늦어지고 폐루프 대응성이 제한됩니다. 일부 방법은 테스트 시 미래 비디오 생성을 생략하여 더 빠른 추론을 달성하지만, 액션 생성을 뒷받침할 수 있는 명시적 시각 예측을 잃게 됩니다.
저희는 재계획 주기 전반에서 디노이징을 더욱 효율적으로 구성할 수 있다고 주장합니다. 기존의 청크 기반 샘플러는 receding-horizon 제어가 초기 일부만 실행하는 경우에도 새로운 예측 구간을 매번 완전히 디노이징합니다. 실행되지 않은 후반부는 현재 액션에 정보를 제공할 수 있지만, 재계획 사이에 재사용되지 않고 폐기됩니다. 미래 비디오-액션 청크를 유지하고 주기마다 점진적으로 정교화하면 예측 맥락을 보존하고 디노이징 계산을 재사용할 수 있어, 다음 실행 가능 청크를 생성하는 데 필요한 순차 단계 수를 줄일 수 있습니다.
이에 따라 저희는 연속적인 재계획 주기에 걸쳐 디노이징을 분산하는 정식화인 Rolling-WAM을 제안합니다. 시퀀스 생성을 위한 롤링 디퓨전 개념을 기반으로, Rolling-WAM은 미래로 갈수록 노이즈 수준이 점진적으로 높아지는 정렬된 비디오-액션 청크의 슬라이딩 윈도우를 유지합니다. 각 재계획 주기에서는 임박한 액션 청크만 실행을 위해 완전히 디노이징하고, 더 먼 미래의 청크는 부분적으로 디노이징된 상태로 남겨 둡니다. 이는 인간의 계획 방식과 유사합니다. 가까운 시점의 액션은 구체적이지만, 더 먼 미래의 계획은 잠정적인 상태로 유지되며 새로운 관측이 들어올 때 정교화됩니다.
첫 번째 액션 청크를 실행한 뒤 윈도우가 앞으로 이동하면서, 남은 예측을 유지하고 가우시안 노이즈로 초기화된 새 청크를 추가합니다. 그런 다음 새로 획득한 카메라 관측을 조건으로, 유지된 예측을 새 청크와 함께 공동으로 정교화합니다. 청크가 윈도우를 따라 이동하면서 디노이징 단계가 여러 재계획 주기에 걸쳐 분산됩니다. 따라서 정상 상태의 각 주기에는 다음 실행 가능 청크를 생성하는 데 필요한 전체 단계의 일부만 필요합니다. 모델은 일치하는 노이즈 프로파일로 학습되며, 액션 토큰은 윈도우 전체에서 부분적으로 디노이징된 시각적 미래에 어텐션합니다.
Rolling-WAM은 LIBERO와 RoboTwin을 포함한 시뮬레이션 벤치마크와 Unitree G1에서 수행하는 세 가지 실제 휴머노이드 조작 태스크를 대상으로 평가됩니다. 실험 결과, Rolling-WAM은 시각적 상상의 이점을 유지하면서 계산 오버헤드를 크게 줄이는 것으로 나타났습니다. LIBERO에서 평균 98.1%, RoboTwin에서 93.3%의 성공률을 달성했으며, 최신 WAM과 비교해도 경쟁력 있거나 이를 능가하는 성능을 보였습니다.
주요 기여는 연속적인 재계획 주기에 걸쳐 디노이징을 분산하는 공동 비디오-액션 모델의 롤링 정식화입니다. 이 정식화는 경쟁력 있는 조작 성능을 유지하면서 표준 WAM 대비 보고된 추론 속도 향상을 달성합니다.
시퀀스 생성을 위한 Rolling Diffusion
Rolling Diffusion은 미래로 갈수록 노이즈 수준이 점진적으로 높아지는 슬라이딩 디노이징 윈도우를 도입합니다. 이 개념은 유연한 샘플링 일정을 위한 독립적인 토큰 노이즈 수준, 그리고 자기회귀 장편 비디오 생성을 위한 롤아웃 기반 증류를 사용하는 양방향 디노이징으로 확장되었습니다. 이러한 연구들은 Rolling-WAM의 롤링 정식화에 동기를 제공합니다.
로봇 조작 분야에서는 Streaming Diffusion Policy와 RNR-DP가 부분적으로 디노이징된 액션 버퍼를 유지하여 액션 생성을 가속합니다. 그러나 이러한 방법은 액션만을 대상으로 하는 디노이징에 집중하며, 비교적 작은 규모의 환경에서 태스크별 정책을 평가합니다. Rolling-WAM은 이 롤링 메커니즘을 확장하여 월드 모델링과 액션 생성을 결합하고, 액션 토큰이 부분적으로 디노이징된 시각적 미래에 어텐션할 수 있도록 하며, 더 폭넓은 멀티태스크 환경에서 접근법을 평가합니다.
문제 정식화
이 분포는 미래 시각 예측에 조건화된 액션 생성과 공동으로 모델링하거나 인수분해하여 모델링할 수 있습니다.
폐루프에서 WAM을 배치하려면 각 재계획 주기마다 액션 청크를 실행하기 전에 여러 디노이징 단계가 필요합니다. 이 반복 과정에는 높은 계산 비용이 발생합니다. 또한 추론 지연을 증가시켜 새로운 관측에 대한 제어기의 대응성을 제한합니다.
Rolling-WAM은 여러 재계획 주기에 걸쳐 디노이징 계산을 분산함으로써 이 병목을 해결합니다. 다음 액션 청크와 그 이후의 미래 연속 구간을 공동으로 정교화하는 슬라이딩 윈도우를 유지합니다. 이 접근법은 가까운 미래의 예측을 완료하는 동시에, 더 장기적인 청크는 서로 다른 노이즈 수준에서 부분적으로 디노이징된 상태로 남겨 둡니다. 실행에 따라 윈도우가 이동하면 유지된 예측은 새로운 관측에 따라 계속 변화합니다. 이 메커니즘은 청크 경계를 넘어 예측 맥락을 전달하여, 연속적인 액션 청크를 공유되고 점진적으로 변화하는 시각-액션 미래를 바탕으로 생성할 수 있게 합니다.
샘플링 및 실행
각 디노이징 단계에서 모델은 윈도우 전체의 비디오 및 액션 예측을 공동으로 업데이트합니다.
모델은 예측된 흐름 속도를 사용한 Euler 적분 업데이트를 적용하여 각 비디오-액션 청크의 현재 디노이징 상태를 진행시킵니다.
첫 번째 청크의 디노이징이 완료되면 로봇은 예측된 액션을 실행합니다. 그런 다음 윈도우가 이동합니다. 실행된 청크를 제거하고 나머지 예측을 유지한 뒤, 가우시안 노이즈로 초기화된 새 청크를 추가합니다. 로봇은 최신 카메라 관측과 상태를 획득하여 다음 재계획 주기의 조건으로 사용합니다.
실험
실험에서는 롤링 디노이징이 조작 성능을 유지하면서 공동 비디오-액션 예측을 가속할 수 있는지 검증합니다. LIBERO, RoboTwin 2.0, 실제 Unitree G1 태스크에서 폭넓은 비전-언어-액션 모델 및 월드 액션 모델과 태스크 성공률을 비교합니다. 통제된 지연 시간 측정을 통해 롤링 디노이징의 계산 절감 효과를 정량화합니다. 절제 실험에서는 윈도우 크기, 학습 노이즈 일정, 청크 간 액션 어텐션의 역할을 조사합니다.
실험 설정
Rolling-WAM은 다음과 같은 설정에서 평가됩니다. 백분율로 보고되는 태스크 성공률을 주요 성능 지표로 사용하며, 효율성을 평가하기 위해 재계획 지연 시간을 측정합니다.
LIBERO의 Spatial, Object, Goal, Long 제품군을 평가합니다. 각 제품군에는 10개의 태스크와 500개의 데모가 포함됩니다. 관측에는 외부 RGB 뷰와 손목 RGB 뷰가 포함됩니다. 네 제품군 전체에서 하나의 정책을 10 epochs 동안 유효 배치 크기 128로 학습하며, 각 태스크는 50회의 롤아웃으로 평가합니다.
시뮬레이션 벤치마크 성능
첫 번째 평가는 롤링 디노이징이 재계획 주기마다 더 적은 디노이징 단계로 경쟁력 있는 조작 성능을 제공할 수 있는지 조사합니다.
Rolling-WAM은 LIBERO에서 평균 98.1%의 성공률을 달성했습니다. 이는 공동 선두인 LingBot-VA와 Joint-WAM의 98.5%에 0.4%포인트 이내로 근접한 결과이며, Motus의 97.7%와 Fast-WAM의 97.6%를 웃돕니다. 네 제품군에서 성공률은 97.8%에서 98.2%까지 분포하며, 롤링 추론으로 일관되게 강력한 성능을 보입니다.
RoboTwin 2.0은 장면 무작위화 환경에서 양팔 조작을 추가로 평가합니다. Rolling-WAM은 클린 설정과 무작위화 설정에서 각각 93.5%와 93.0%의 성공률을 달성합니다. 평균 93.3%의 성공률은 LingBot-VA의 92.2%, Fast-WAM의 91.8%, Joint-WAM의 90.6%를 앞섭니다. 두 설정에서 모두 높은 성공률을 보인 것은 추가적인 체화 사전학습 없이도 평가된 장면 변화에서 롤링 추론이 효과적으로 작동함을 보여줍니다. 태스크별 결과는 논문의 부록에 제시되어 있습니다.
Rolling-WAM은 재계획 주기마다 단 두 단계의 디노이징만으로 이러한 결과를 달성합니다. 이는 현재 예측과 미래 예측을 공동으로 정교화하면 더 빠른 재계획과 향상된 조작 성능을 결합할 가능성이 있음을 시사합니다.
실행이 진행되는 동안 유지된 시각 예측이 관측과 얼마나 잘 정렬되는지도 조사합니다. RoboTwin 2.0 벤치마크에서 캐비닛에 물체를 넣는 예시를 보면, 상상된 로봇 동작과 태스크 진행이 관측을 밀접하게 따라갑니다. 이는 롤링 실행 중 유지되는 시각적 맥락을 정성적으로 보여줍니다.
결론
Rolling-WAM은 슬라이딩 윈도우 안에서 가까운 미래와 먼 미래의 비디오-액션 예측을 공동으로 정교화하는 효율적인 월드 액션 모델입니다. 재계획 주기에 걸쳐 디노이징을 분산함으로써 다음 실행 가능 액션 청크를 생성하는 데 필요한 순차 단계 수를 줄이는 동시에, 부분적으로 디노이징된 시각적 미래를 사용해 액션 생성을 안내합니다.
실험 결과, Rolling-WAM은 LIBERO에서 경쟁력 있는 성능을 달성하고 RoboTwin 2.0과 실제 휴머노이드 조작 태스크에서 비교 대상 방법을 능가하는 한편, 표준 공동 WAM보다 추론 속도를 크게 향상시키는 것으로 나타났습니다. 롤링 디노이징을 상호 보완적인 모델 및 시스템 최적화와 결합하면 지연 시간이 짧은 로봇 제어를 위한 추가 기회를 확보할 수 있습니다.
한계 및 향후 연구
윈도우와 청크 크기와 같은 설계 선택은 서로 다른 동역학과 제어 주파수를 가진 태스크 설정 전반에서 추가 연구가 필요합니다. 관측 피드백이 있더라도 유지된 예측은 빠른 장면 변화를 따라가지 못하고 액션 생성을 잘못 유도할 수 있으며, 특히 윈도우가 긴 경우 그러할 수 있습니다. 적응형 윈도우 관리와 비동기 실행은 폐루프 대응성을 개선하기 위한 연구 방향입니다.
감사의 글
이 연구는 National Science Foundation의 NSF CPS #2434460 지원을 일부 받았습니다. USC Physical Superintelligence Lab은 Toyota Research Institute, Dolby, Google DeepMind, Capital One, Nvidia, Bosch, NSF, Qualcomm의 아낌없는 지원에 감사를 표합니다. Yue Wang은 Powell Research Award의 지원도 받았습니다.
자주 묻는 질문
Rolling-WAM은 어떤 문제를 해결하나요? 폐루프 로봇 제어 중 전체 비디오-액션 예측 구간을 반복적으로 디노이징할 때 발생하는 계산 비용과 지연 문제를 해결합니다.
Rolling-WAM은 추론 오버헤드를 어떻게 줄이나요? 매번 전체 디노이징 과정을 다시 시작하는 대신, 부분적으로 디노이징된 미래 비디오-액션 청크를 유지하고 재계획 주기에 걸쳐 점진적으로 정교화합니다.
Rolling-WAM은 시뮬레이션 벤치마크에서 어떤 성능을 달성하나요? LIBERO에서 평균 98.1%, RoboTwin 2.0에서 평균 93.3%의 성공률을 달성합니다.
저자들이 확인한 주요 한계는 무엇인가요? 특히 윈도우가 긴 경우 유지된 예측이 빠른 장면 변화를 따라가지 못할 수 있으며, 서로 다른 태스크 설정에서 윈도우와 청크 크기를 추가로 연구해야 합니다.