기존의 크리틱 기반 비전-언어-행동 강화학습 방법은 부분 관측 환경에서 시간적 구조를 포착하는 데 어려움을 겪는다. 이 연구에서는 잠재 상태 예측과 가치 추정을 하나의 아키텍처에서 공동 학습하는 월드 크리틱 모델(World Critic Model, WCM)을 제안한다. 시뮬레이션 149개 과제와 실제 환경의 조작 과제 7개를 대상으로 한 실험에서, WCM은 분포 내와 분포 밖 환경 모두에서 일관되게 최고 수준의 성능을 보였다.
실험 설정
WidowX-250S 플랫폼을 사용해 로봇 과제 7개를 평가했다. 평가 과제는 동적 파지 과제, 장기 시간 범위 과제, 변형 가능 물체 조작 과제 2개, 픽 앤 플레이스 과제 3개로 구성됐다. 오프폴리시 강화학습 알고리즘과 OpenVLA-OFT를 기본 정책으로 사용하고, World Critic Model의 지도를 받는 오프폴리시 강화학습으로 모델을 학습했다.
일반화 성능
VLA-RL에서 일반화 성능은 핵심 평가 기준이다. 이 방법을 ManiSkill-OOD 설정과 LIBERO-Plus에서 평가한 결과, 두 가지 주요 사실을 확인했다.
WCM은 일반화 성능을 크게 높인다. ManiSkill에서 WCM은 분포 내 성능과 분포 밖 일반화 성능을 모두 향상했으며, 기존 Flow-SDE와 PPO를 앞섰다. 또한 분포 밖 성능이 뛰어난 것으로 알려진 Step-NFT 베이스라인보다도 우수한 성능을 보였다. 이는 WCM이 더 많은 상태 정보를 포착하고 분포 변화 상황에서도 안정적인 가치 추정을 제공하기 때문이다.
SFT보다 뛰어난 일반화 성능. LIBERO-Plus에서는 원샷 지도 미세 조정으로 시작한 뒤 약 250회의 RL 학습 스텝만으로, 2만 개의 궤적을 사용해 학습한 풀샷 SFT를 앞섰다.
실제 환경 성능
실제 로봇을 대상으로 한 실험은 제한된 데이터 환경에서 WCM의 효과와 효율성을 보여준다. 학습에 사용한 데이터는 수백 개에서 수천 개 수준의 샘플에 불과했다. 수백~수천 개의 궤적과 1시간 미만의 학습만으로도 WCM은 빠른 반복 개선을 가능하게 했으며, 정확한 크리틱 예측을 생성했다.
관측 이력은 길수록 항상 유리한가?
절제 연구에서는 WCM의 관측 이력 길이를 1프레임부터 5프레임까지 바꿔가며 평가했다. 평균적으로는 길이 3이 가장 우수했다. 가능한 직관적 설명은 연속된 세 프레임이 2차 동역학 정보인 가속도를 암묵적으로 포착하는 반면, 두 프레임은 1차 동역학 정보인 속도를 포착한다는 것이다. 실험한 과제에서는 1차 및 2차 정보만으로도 필요한 동적 특성을 설명하기에 충분한 것으로 보인다.
추론 처리량
추론 처리량은 수건 접기, 쿡탑 청소, 회전 초밥 집기 등 세 과제에서 평가했으며, 시간당 성공적인 롤아웃 횟수로 측정했다.
SFT만 사용한 모델은 초기 성공률이 낮고 행동 실행이 비효율적이어서 처리량이 가장 낮았다. 잦은 일시 정지와 작은 크기의 움직임 때문에 각 롤아웃이 길어졌기 때문이다. RL 미세 조정 후에는 정책의 성공률이 높아지고 동작이 매끄러워지면서 처리량이 크게 향상됐다.
RECAP으로 학습한 두 변형 모델 가운데 WCM 기반 크리틱을 사용한 모델은 모든 과제에서 Gemma VLM 기반 크리틱을 사용한 모델을 일관되게 앞섰다. 이는 크리틱 모델의 선택이 추론 효율에 상당한 영향을 미친다는 점을 보여준다.
학습 과정
모든 8개 설정에 대해 스텝 0부터 각 설정이 보고된 최적 성능에 도달할 때까지 학습 곡선을 기록했다. 대부분의 설정에서 학습 스텝이 증가함에 따라 안정적인 성능 향상이 나타났지만, 설정에 따라 수렴 속도와 최종 성능에는 차이가 있었다. ManiSkill-OOD와 LIBERO-Plus는 테스트 설정이 학습 설정과 다르기 때문에, 보고된 수치와 학습 곡선 사이에 일정한 차이가 나타난다. 이러한 차이는 분포 변화에 따른 일반화 격차를 반영한다.
결론
이 연구는 기존 크리틱 기반 VLA-RL 방법의 근본적인 한계를 규명했다. 단일 프레임 관측이나 약하게 지도된 이력에 기반한 가치 추정만으로는 부분 관측 환경에서 상태를 복원하는 데 필요한 시간적 구조를 포착하기 어렵다. World Critic Model은 잠재 상태 예측과 가치 추정을 공동 학습하는 통합 아키텍처로 이 문제를 해결한다. 네 가지 시뮬레이션 벤치마크의 149개 과제를 대상으로 한 광범위한 실험에서 WCM은 분포 내와 분포 밖 환경 모두에서 일관되게 최고 수준의 성능을 달성했으며, 특히 일반화 성능에서 큰 향상을 보였다. 실제 환경의 조작 과제 7개를 통한 검증에서도 안정적이고 효과적인 배포 가능성을 확인했다.
자주 묻는 질문
World Critic Model(WCM)이란 무엇인가? WCM은 비전-언어-행동 강화학습을 위한 통합 아키텍처로, 잠재 상태 예측과 가치 추정을 공동 학습한다. 부분 관측 환경에서 단일 프레임 가치 추정이 갖는 한계를 해결한다.
분포 밖 과제에서 WCM은 어떤 성능을 보이나? WCM은 OOD 벤치마크에서 Flow-SDE, PPO, Step-NFT를 비롯한 기존 베이스라인을 일관되게 앞선다. LIBERO-Plus에서는 250회의 RL 학습 스텝만으로 2만 개의 궤적을 사용해 학습한 풀샷 SFT를 능가한다.
어떤 관측 이력 길이가 가장 효과적인가? 절제 연구 결과, 평균적으로 3프레임의 이력 길이가 가장 우수했다. 연속된 세 프레임은 2차 동역학 정보인 가속도를 암묵적으로 포착하며, 이는 실험한 조작 과제에 충분한 것으로 보인다.
실제 환경에 배포했을 때 WCM은 어떤 성능을 보이나? WCM은 수백 개에서 수천 개의 궤적과 1시간 미만의 학습만으로도 실제 로봇에서 효과적인 RL 학습을 가능하게 한다. 또한 더 매끄럽고 성공률 높은 정책을 생성해 추론 처리량도 향상한다.