2단계 훈련 프레임워크는 시각-언어-동작(VLA) 훈련 전에 전용 동작 사전 학습 단계를 도입합니다. 흐름 정합 기반 인코더-디코더 동작 모듈을 조건 없는 동작 궤적만으로 훈련시켜, 동작 헤드가 시각-언어 입력을 접하기 전에 동작 분포에 대한 구조화된 지식을 갖추도록 합니다. 초기 단계 잠재 정렬 증류 전략은 VLM을 학습된 동작 임베딩 공간에 고정시킴으로써 교차 모달 수렴을 더욱 가속화합니다. 13가지 교차 체현 작업에 대한 실험은 제안된 접근 방식이 더 빠른 수렴, 더 높은 성공률, 그리고 무시할 수 있는 비용으로 효과적인 이력 압축을 달성함을 검증합니다. 또한 1단계 데이터를 풍부하게 하면 더 강력한 동작 사전이 생성되어 하류 VLA 성능 향상으로 직접 이어지며, 제안된 프레임워크의 확장성을 확인합니다.
동작 사전 학습
전반적으로 이러한 접근 방식은 잠재 동작 또는 역학 표현이 로봇 정책 학습을 개선할 수 있음을 보여줍니다. 그러나 대부분은 시각 데이터, 미래 상태 예측 또는 시각-동작 정책 학습에서 시작합니다. 우리의 설정은 대신 시각 관찰이나 언어 명령 없이 로봇 동작 궤적을 직접 사용합니다. 이를 통해 물리적 움직임의 본질적인 통계를 분리하고 학습 단계를 가볍게 유지합니다.
훈련 역학 및 최적화 안정성 분석
최종 성공률과 롤아웃 동작 외에도, 동작 사전 학습이 VLA 훈련의 초기 최적화 과정을 어떻게 변화시키는지 추가로 조사합니다. 핵심 질문은 1단계 동작 사전 학습이 모델이 시각-언어 특징을 연속 동작 생성과 정렬해야 하는 2단계 VLA 훈련의 부담을 줄일 수 있는지 여부입니다. 실험은 세 가지 변형의 처음 3,000단계 2단계를 동일한 데이터, 하이퍼파라미터 및 VLM 백본 아래에서 비교하여 동작 사전 초기화 및 이력 조건의 효과를 분리합니다.
안정적인 초기화. 사전 학습 없는 모델은 잘못 보정된 동작 모듈에서 시작하여 훨씬 더 큰 초기 예측 손실을 겪습니다. 대조적으로, 사전 학습 기반 변형은 이미 실행 가능한 동작을 모델링하는 디코더에서 시작하여 초기 손실을 상당한 차이로 줄이고 훨씬 일찍 낮은 손실에 도달합니다. 이는 1단계가 교차 모달 정렬이 시작되기 전에 저수준 동작 보정을 처리함을 시사합니다. 따라서 2단계는 처음부터 유효한 동작 패턴을 발견하는 데 덜 집중하고 이러한 패턴을 시각-언어 조건에 적응시키는 데 더 집중할 수 있습니다.
더 부드러운 그래디언트. 랜덤 동작 초기화는 또한 크고 반복적인 그래디언트 스파이크를 생성하는 반면, 학습된 디코더는 처음부터 그래디언트를 작고 안정적으로 유지합니다. 이는 안정적인 동작 그래디언트가 VLM 백본의 이미 유용한 표현에 대한 간섭을 줄이기 때문에 중요합니다.
더 빠른 검증 수렴. MAE 곡선은 이득이 훈련 손실에 국한되지 않음을 확인합니다. 사전 학습 기반 변형은 훨씬 일찍 동일한 검증 오차에 도달하여, 학습된 동작 사전이 교차 모달 정책 학습을 위한 최적화 사전으로도 작용함을 나타냅니다. 이력 변형은 초기 과도 상태 후 가장 낮은 MAE에 추가로 도달하여, 더 강력한 하류 성능과 일관됩니다.
결론
우리는 VLA 훈련 전에 전용 동작 사전 학습 단계를 도입하는 2단계 훈련 프레임워크를 제시했습니다. 흐름 정합 기반 인코더-디코더 동작 모듈을 조건 없는 동작 궤적만으로 훈련시켜, 동작 헤드가 시각-언어 입력을 접하기 전에 동작 분포에 대한 구조화된 지식을 갖추도록 합니다. 초기 단계 잠재 정렬 증류 전략은 VLM을 학습된 동작 임베딩 공간에 고정시킴으로써 교차 모달 수렴을 더욱 가속화합니다. 13가지 교차 체현 작업에 대한 실험은 제안된 접근 방식이 더 빠른 수렴, 더 높은 성공률, 그리고 무시할 수 있는 비용으로 효과적인 이력 압축을 달성함을 검증합니다. 또한 1단계 데이터를 풍부하게 하면 더 강력한 동작 사전이 생성되어 하류 VLA 성능 향상으로 직접 이어지며, 제안된 프레임워크의 확장성을 확인합니다.
자주 묻는 질문
동작 사전 학습이란 무엇이며 다른 접근 방식과 어떻게 다른가요? 동작 사전 학습은 시각 데이터나 언어 명령 없이 로봇 동작 궤적만으로 모듈을 훈련합니다. 이는 물리적 움직임의 통계를 분리하여, 시각 관찰에서 시작하는 방법보다 학습을 가볍게 유지합니다.
2단계 훈련 프레임워크는 VLA 정책 학습을 어떻게 개선하나요? 1단계는 2단계 교차 모달 훈련이 시작되기 전에 동작 패턴에 대해 동작 디코더를 보정합니다. 이는 안정적인 초기화, 더 부드러운 그래디언트, 더 빠른 검증 수렴을 제공하여 처음부터 동작 생성을 학습하는 부담을 줄입니다.
1단계 데이터를 풍부하게 하면 하류 성능이 향상되나요? 네, 실험은 동작 사전 학습 단계에 더 많은 동작 데이터를 추가하면 더 강력한 사전이 생성되어 전체 VLA 모델의 더 높은 성공률로 직접 이어짐을 확인합니다.
프레임워크에서 이력 조건의 역할은 무엇인가요? 동작 사전 모듈의 이력 변형은 초기 훈련 후 가장 낮은 검증 오차에 도달하고 더 강력한 하류 성능을 보여, 동작 시퀀스에서 시간적 맥락을 모델링하는 것이 추가적인 이점을 제공함을 나타냅니다.