더 빠르고 뛰어난 로봇 제어를 위한 시각-언어-행동 모델의 확장

더 빠르고 뛰어난 로봇 제어를 위한 시각-언어-행동 모델의 확장

Ruixi Yu, Dairu Liu, Xuchuan Chen, Zekun Qi, Zekai Li +7개 더

3 분 읽기•2026년 11월 17일

학습 및 추론

여기서는 조정된 백본 특징, 로봇 상태, 로봇 구현체를 조건으로 사용해 행동을 예측합니다. 손실은 유효한 행동 차원과 시점의 제곱 오차를 평균하여 계산합니다. 상태와 행동 값은 학습 데이터의 1st 및 99th 백분위수를 사용해 정규화합니다. 그래디언트는 행동 헤드만 업데이트하므로, 백본 특징은 한 번 사전 계산한 뒤 학습 중 재사용합니다.

실험

2B에서 552B 매개변수 규모의 시각-언어 모델 백본을 사용하는 정책을 비교합니다. 실험에서는 시뮬레이션에서의 작업 성공률을 측정하고, 정책 추론 시간을 기록하며, 샘플 효율을 측정하기 위해 시연 횟수를 달리합니다. 양팔 로봇에서도 정책을 평가합니다.

추론 지연 시간

ScaleVLA는 행동 청크마다 한 번의 순전파로 시각-언어 모델 특징을 읽어 들입니다. 추론 지연 시간은 관측값을 전송한 시점부터 클라이언트가 행동 청크를 수신할 때까지 측정합니다.

샘플 효율

학습을 5,000 optimizer steps로 고정한 상태에서 LIBERO Goal 및 LIBERO Long의 작업별 시연 횟수를 달리합니다. 모든 백본은 동일하게 중첩된 시연 하위 집합과 평가 초기 상태를 사용합니다.

ScaleVLA는 데이터가 부족한 환경에서 작은 백본보다 일관되게 뛰어난 성능을 보이며, 시연이 적을수록 향상 폭이 가장 큽니다. 작업당 시연이 5회뿐일 때 백본 규모를 2B에서 552B로 확장하면 LIBERO-Goal의 성공률이 39.4%에서 77.4%로 거의 두 배 높아지고, LIBERO-Long에서도 상당한 성능 향상을 보입니다. 특히 ScaleVLA는 LIBERO-Goal에서 2B 기준 모델을 넘어서는 데 시연 횟수가 5분의 1만 필요합니다.

이 결과는 최첨단 규모로 사전 학습된 표현이 행동 학습의 강력한 기반이 되어, 제한된 로봇 시연만으로도 효과적인 정책을 학습할 수 있음을 시사합니다.

ScaleVLA의 평가 작업과 조작 환경

실제 로봇 실험

시각-언어 모델 백본 확장의 이점이 시뮬레이션을 넘어서는지 알아보기 위해 양팔 로봇으로 실제 환경 실험을 수행합니다. RoboDojo의 Plug In Charger 작업은 물체 잡기, 양팔을 이용한 손 전달, 정밀하고 접촉이 많은 삽입을 순차적으로 수행해야 합니다. 이 작업은 최첨단 규모의 시각 표현이 다단계 조작과 세밀한 로봇 제어 모두에 도움이 되는지 평가하기 위한 까다로운 시험 환경입니다.

공간적 교란에 대한 정책의 강건성도 평가하고, 최첨단 규모의 시각-언어-행동 정책을 실제 로봇에 배포하는 것이 실용적으로 가능한지도 살펴봅니다.

실제 환경에서 충전기 삽입 작업을 수행하는 양팔 로봇

결론

ScaleVLA는 플로 매칭으로 학습한 행동 디퓨전 트랜스포머를 통해 552B 시각-언어 모델의 표현을 연속적인 로봇 행동과 연결합니다. LIBERO, LIBERO-PRO, RoboCasa, DexJoCo에서 백본 규모가 커질수록 성능이 향상됩니다. 실제 로봇에서는 552B 백본이 2B 백본보다 더 안정적으로 충전기를 삽입합니다.

최첨단 특징은 로봇 데이터가 부족하거나 조건이 바뀌거나 정밀한 접촉이 필요한 상황에서 가장 큰 가치를 발휘하며, 더 작은 백본보다 많은 하드웨어가 필요하지만 1초 미만의 제어에 충분히 빠릅니다. 이 결과는 최첨단 시각-언어 모델이 추론 에이전트뿐만 아니라 빠르게 동작하는 학습 기반 로봇 정책의 표현 기반으로도 활용될 수 있음을 시사합니다.

자주 묻는 질문

ScaleVLA란 무엇인가요? ScaleVLA는 플로 매칭으로 학습한 행동 디퓨전 트랜스포머를 사용해 시각-언어 모델의 표현을 연속적인 로봇 행동과 연결합니다.

평가한 백본 중 가장 큰 모델의 규모는 얼마인가요? 가장 큰 시각-언어 모델 백본은 552 billion개의 매개변수를 갖습니다.

시연 횟수가 적을 때 규모 확장은 성능에 어떤 영향을 미치나요? 작업당 시연이 5회일 때 552B 백본은 LIBERO-Goal에서 77.4%의 성공률을 달성합니다. 2B 백본의 성공률은 39.4%입니다.

ScaleVLA는 실제 로봇에서 테스트되었나요? 네. 잡기, 손 전달, 삽입이 포함된 Plug In Charger 작업을 수행하는 양팔 로봇에서 평가했습니다.