일반적인 사전 학습 VLA 모델은 시각-언어 모델(VLM)과 플로우 매칭 기반의 행동 전문가(AE)를 결합한다. 잡음 제거 과정에서 정책은 잡음이 포함된 행동 청크 [수학적 표현]에 조건화된다. 대규모 사전 학습을 통해 VLM은 일반적인 시각-언어 표현을 획득하고, AE는 행동 생성을 위한 재사용 가능한 운동 사전 지식을 학습한다. 이러한 상호 보완적인 사전 학습 능력은 하위 작업 적응의 기반이 된다.
문제 정의
PriorVLA는 사전 학습된 시각-언어-행동(VLA) 모델을 하위 작업에 적응시키면서 대규모 사전 학습 중 획득한 일반 목적 지식을 보존하는 문제를 해결한다. 제한된 하위 작업 데이터셋으로 미세 조정할 경우, VLA 모델은 사전 학습된 운동 사전 지식과 시각적 접지 능력을 잃을 위험이 있으며, 이는 분포 외(OOD) 일반화 성능을 저해한다.
이중 행동 전문가
사전 학습된 AE는 잡음 제거 동역학에 인코딩된 재사용 가능한 운동 사전 지식을 포함하지만, 전체 미세 조정은 이러한 사전 지식을 좁은 학습 분포 행동 패턴으로 이동시킬 수 있다. PriorVLA는 사전 학습된 AE를 이중 행동 전문가로 분기하여 사전 지식 보존과 하위 작업 전문화를 분리한다.
사전 지식 전문가(Prior Expert)는 읽기 전용 운동 사전 지식 소스 역할을 한다: 고정된 가중치는 사전 학습된 운동 지식을 보존하고, 내부 잡음 제거 표현은 적응된 정책에 운동 사전 특징을 제공한다.
전문가 질의(Expert Queries)
구조적 분리는 사전 학습된 AE를 보존하지만, 그 자체로는 사전 지식을 하위 작업 행동 생성에 사용할 수 있게 하지 않는다. 사전 학습된 사전 지식은 여러 계층과 잡음 제거 단계에 분산되어 있으므로, PriorVLA는 다양한 기능 경로에 연결된 학습 가능한 토큰 인터페이스인 전문가 질의를 도입한다. 이는 세 그룹으로 구성된다:
- 장면 질의(Scene Queries): VLM 입력 시퀀스에 삽입되는 학습 가능한 토큰으로, VLM 표현에서 작업 관련 장면 사전 지식을 포착한다. 이들의 계층별 키-값 캐시는 적응 전문가에게 압축된 장면 사전 인터페이스를 제공한다.
- 운동 질의(Motor Queries): 고정된 사전 지식 전문가에 삽입되는 학습 가능한 토큰으로, 잡음 제거 표현에서 운동 사전 지식을 포착한다.
- 행동 질의(Action Queries): 적응 전문가에 삽입되는 학습 가능한 토큰으로, 장면 및 운동 사전 지식을 통합하여 하위 작업 행동 생성을 안내한다.
어텐션 마스크 구현
어텐션 마스크는 블록 구조로 구현되며, 동일 블록 내 토큰은 양방향 자기 어텐션을 사용하고, 이후 블록은 이전 블록에만 어텐션할 수 있다(역방향 불가). 고정된 사전 지식 전문가의 경우, 잡음이 포함된 행동 토큰은 원래 사전 학습된 행동 경로를 따르며 운동 질의에 어텐션할 수 없다. 운동 질의는 사전 지식 전문가의 잡음 행동 토큰에 어텐션할 수 있지만, VLM 프리픽스나 장면 질의에는 어텐션할 수 없어 장면 특징보다 운동 사전 특징에 집중하도록 한다.
학습 가능한 적응 전문가의 경우, 행동 질의와 잡음 행동 토큰은 양방향 상호 작용을 공유한다. 적응 전문가는 원래 VLM 특징, 장면 질의 특징, 운동 질의 특징에 어텐션하지만, 원시 사전 지식 전문가의 행동 상태에는 어텐션하지 않아 학습 안정성을 향상시킨다.
학습
PriorVLA는 전체 적응 전문가, 세 그룹의 전문가 질의, VLM 시각 인코더를 최적화하며, 다른 모든 VLM 매개변수와 사전 지식 전문가는 고정한다. 전체적으로 PriorVLA는 전체 미세 조정에서 업데이트되는 매개변수의 약 25%를 업데이트한다. 이는 고정된 VLM 구성 요소와 사전 지식 전문가의 사전 학습된 사전 지식 소스를 보존하면서, 시각 인코더와 적응 브랜치가 하위 작업 데이터에 특화될 수 있도록 한다.
기본 VLA 백본
PriorVLA는 VLM과 플로우 매칭 행동 전문가를 결합한 사전 학습된 VLA 백본 위에 구축된다. VLM은 SigLIP 스타일 시각 인코더와 Gemma-2B 언어 백본으로 구성되며, 다중 뷰 이미지, 언어 프롬프트, 고유 수용 상태를 인코딩한다. 행동 전문가는 Gemma-300M 스타일 트랜스포머 아키텍처를 따르며, 연속적인 행동 생성을 위해 미래 행동 청크의 잡음을 제거한다.
이중 행동 전문가 구현
사전 지식 전문가와 적응 전문가는 모두 사전 학습된 AE에서 초기화된다. 사전 지식 전문가는 고정되어 읽기 전용 운동 사전 표현 소스 역할을 하고, 적응 전문가는 학습 가능하며 최종 행동 청크를 생성하는 잡음 제거 궤적을 구동한다. 각 잡음 제거 단계에서 두 전문가는 동일한 현재 잡음 행동 청크를 입력받는다. 사전 지식 전문가의 잡음 제거 출력은 손실에 사용되지 않지만, 내부 표현은 운동 질의를 통해 노출된다.
전문가 질의 구현
PriorVLA는 세 그룹의 학습 가능한 전문가 질의를 사용한다:
- 장면 질의는 다중 뷰 이미지 토큰, 프롬프트 토큰, 고유 수용 상태 토큰과 함께 VLM에 추가 입력 토큰으로 제공된다. 장면 사전 특징을 포착한다.
- 운동 질의는 각 잡음 제거 단계에서 고정된 사전 지식 전문가에 추가 입력 토큰으로 제공된다. 잡음 행동 궤적을 업데이트하지 않고 운동 사전 특징을 읽는다.
- 행동 질의는 각 잡음 제거 단계에서 학습 가능한 적응 전문가에 추가 입력 토큰으로 제공된다. 장면 사전 및 운동 사전 특징을 통합하여 적응 전문가의 잡음 제거 예측을 안내한다.
하이퍼파라미터
모든 실험에서 PriorVLA는 AdamW 최적화기를 사용하며, 전역 노름 그래디언트 클리핑을 1.0으로 설정한다. 학습 가능한 매개변수는 float32로 최적화되고, 고정된 사전 학습 매개변수는 bfloat16으로 저장된다. 특별히 명시되지 않는 한, 모든 실행은 무작위 시드 42를 사용한다. PriorVLA는 네 개의 매개변수 그룹에 그룹화된 학습률 승수를 적용한다:
| 매개변수 그룹 | 학습률 승수 |
|---|---|
| 장면 질의 | 2.0 |
| 운동 질의 | 4.0 |
| 행동 질의 | 4.0 |
| 나머지 학습 가능 매개변수 | 1.0 |
실험
PriorVLA를 종합적으로 평가하기 위해, RoboTwin 2.0, LIBERO, 그리고 두 개의 로봇 플랫폼에서 8개의 실제 세계 작업에 대한 실험을 수행했다. 평가는 다섯 가지 질문을 중심으로 구성되었다:
- PriorVLA가 전체 미세 조정 및 강력한 VLA 베이스라인보다 하위 작업 적응을 개선할 수 있는가?
- 사전 학습된 사전 지식을 보존하는 것이 OOD 일반화를 개선하는가?
- 하위 작업 데이터 범위가 제한적일 때 이점이 더 큰가?
- 이러한 이점이 다양한 플랫폼 및 평가 조건에서 실제 로봇으로 전이되는가?
- 이점이 보존된 사전 지식과 학습 가능한 질의 인터페이스로 설명되는가?
훈련 데이터
RoboTwin 2.0의 경우, 공식 설정을 사용하여 작업당 하나의 모델을 훈련했다. 전체 50개 작업 벤치마크에서 대표적인 13개 작업 하위 집합을 사용했다. 표준 설정은 작업당 50개의 깨끗한 시연을 사용한다. 퓨샷 및 대규모 데이터 설정은 각각 작업당 10개와 250개의 깨끗한 시연을 사용한다.
RoboTwin 2.0 평가
RoboTwin 2.0의 경우, 훈련에 사용된 동일한 13개 작업에 대해 공식 Easy(동일 분포) 및 Hard(OOD) 모드로 평가를 수행했다. 최종 30k 체크포인트를 각 모드에 대해 작업당 300회 롤아웃으로 평가했으며, 공식 시뮬레이터 성공 신호를 사용했다.
LIBERO 평가
LIBERO의 경우, 네 가지 스위트를 평가했다: Spatial, Object, Goal, Long. 각 스위트는 10개의 작업을 포함하며 각각 50회 롤아웃으로 총 500회 롤아웃을 수행했다. LIBERO의 초기 상태를 사용했으며, 성공은 LIBERO 환경 신호로 측정했다. 정책은 10 환경 스텝마다 재계획하며, 20k 스텝 이후 최고 체크포인트를 보고했다.
실제 세계 평가
실제 세계 평가는 최종 30k 체크포인트를 작업당 20회 ID 시험과 20회 OOD 시험으로 테스트했다. 동일한 정책을 재훈련 없이 두 설정에서 평가했다. 모든 실제 작업에서 정책은 길이 [특정 청크 길이]의 행동 청크를 예측하고, 처음 15개 행동을 실행한 후 새로운 관찰로 정책을 다시 질의한다.
사전 지식 보존이 OOD 일반화에 도움이 되는 이유
하위 작업 VLA 적응에서 분포 외 일반화는 하위 작업 시연이 종종 제한된 시각 조건, 객체 구성, 작업 공간 배치만을 다루기 때문에 어렵다. 전체 미세 조정은 제한된 감독으로 사전 학습된 행동 생성 경로를 직접 업데이트하여 사전 학습된 표현과 행동 사전 지식을 좁은 하위 작업 패턴으로 이동시킬 수 있다.
PriorVLA는 사전 지식 보존을 하위 작업 전문화와 분리하여 이를 완화한다. 고정된 사전 지식 전문가는 사전 학습된 행동 생성 경로를 보존하고, 적응 전문가는 하위 작업 행동 생성에 특화된다. 전문가 질의는 보존된 사전 지식을 사용하기 위한 학습 가능한 인터페이스를 제공한다. 이 설계는 대규모 사전 학습에서 학습된 사전 지식(예: 객체 중심 시각적 접지, 행동 가능성 관련 장면 이해, 일반적인 운동 규칙성)을 평가 장면에 보이지 않는 조건이 포함될 때 재사용할 수 있게 한다.
사전 지식 보존이 퓨샷 적응에 도움이 되는 이유
퓨샷 적응은 적은 수의 하위 작업 시연이 초기 상태, 시각적 외관, 성공적인 행동 궤적의 좁은 부분 집합만을 다루기 때문에 과전문화 위험을 증폭시킨다. 고정된 사전 지식 전문가는 안정적인 운동 사전 특징 소스를 유지하고, 적응 전문가는 하위 작업 행동 매핑을 학습한다. 전문가 질의는 보존된 사전 지식을 선택하고 통합하기 위한 학습 가능한 인터페이스 역할을 한다. 모델은 소량의 데이터만으로 모든 관련 구조를 복구할 필요 없이, 사전 학습된 사전 지식을 재사용하고 이를 하위 작업에 통합하는 방법을 학습할 수 있다.
더 넓은 영향
PriorVLA는 사전 학습된 로봇 정책의 데이터 효율적인 적응을 개선하는 것을 목표로 한다. 잠재적인 긍정적 영향은 하위 작업 적응에 필요한 작업별 로봇 데이터 양을 줄여 개발 비용을 낮추고 적당한 분포 변화에서 강건성을 향상시키는 것이다. 부정적 영향은 더 강력한 로봇 정책이 충분한 검증 없이 배포되어 보이지 않는 장면이나 안전하지 않은 환경에서 실패할 경우 발생할 수 있다. 이 방법은 부적절한 자동화 설정에서 오용될 수도 있다. 실제 세계 실험은 적절한 안전 조치가 있는 통제된 실험실 환경에서 수행된다.
절제 연구
대표적인 6개의 RoboTwin 2.0 작업 하위 집합에 대해 동일한 훈련 및 평가 프로토콜을 따라 절제 연구를 수행했다. 전체 작업 목록과 작업별 결과는 부록에 제공된다.
결론 및 한계
PriorVLA는 시뮬레이션 및 실제 환경에서 강력한 적응을 입증했지만, 몇 가지 측면은 추가 연구가 필요하다. RoboTwin 2.0 결과는 각 작업에 별도 모델이 필요하므로 전체 50개 작업 벤치마크가 아닌 대표적인 13개 작업 하위 집합에 대해 보고된다. 실제 세계 평가에서는 OOD 요인이 함께 적용되어 배포와 유사한 변화를 반영하지만 개별 효과를 분리하지는 않는다. PriorVLA는 잡음 제거 중에 고정된 사전 지식 전문가가 실행되므로 추가 추론 계산을 도입하지만, 청크 제어 설정에서 관리 가능하며 더 효율적인 구현이나 캐시된 사전 지식 판독으로 비용을 더 줄일 수 있다. 장면 및 운동 사전 지식이 계층과 잡음 제거 단계에 걸쳐 어떻게 출현하고 상호 작용하며 진화하는지에 대한 세분화된 분석은 추후 연구 과제로 남는다.
자주 묻는 질문
Q1: PriorVLA가 해결하는 문제는 무엇인가요? PriorVLA는 사전 학습된 시각-언어-행동(VLA) 모델을 하위 작업에 적응시키면서 대규모 사전 학습 중 획득한 일반 목적 지식을 보존하는 문제, 특히 분포 외 일반화 및 퓨샷 적응을 해결합니다.
Q2: 이중 행동 전문가는 어떻게 구성되나요? 사전 지식 전문가는 고정되어 읽기 전용 운동 사전 표현 소스 역할을 하고, 적응 전문가는 학습 가능하며 최종 행동 청크를 생성하는 잡음 제거 궤적을 구동합니다. 둘 다 동일한 사전 학습된 행동 전문가에서 초기화됩니다.
Q3: 세 가지 유형의 전문가 질의는 무엇인가요? 장면 질의는 VLM에서 작업 관련 장면 사전 지식을, 운동 질의는 고정된 사전 지식 전문가의 잡음 제거 표현에서 운동 사전 지식을, 행동 질의는 적응 전문가 내에서 두 사전 지식을 통합하여 행동 생성을 수행합니다.
Q4: 훈련 중 모델의 얼마나 많은 부분이 업데이트되나요? PriorVLA는 전체 미세 조정에서 업데이트되는 매개변수의 약 25%를 업데이트하며, 시각 인코더를 제외한 모든 VLM 매개변수와 전체 사전 지식 전문가를 고정합니다.
Q5: 평가에 사용된 벤치마크는 무엇인가요? RoboTwin 2.0(13개 작업), LIBERO(4개 스위트: Spatial, Object, Goal, Long), 두 로봇 플랫폼에서 8개의 실제 세계 작업에 대해 평가했습니다.
Q6: PriorVLA가 OOD 일반화를 어떻게 개선하나요? 고정된 사전 지식 전문가를 대규모 사전 학습에서 얻은 안정적인 운동 사전 지식 소스로 보존함으로써, PriorVLA는 평가 조건이 하위 작업 훈련 분포와 다를 때 모델이 일반 목적 운동 및 시각 지식을 재사용할 수 있게 합니다.