최근의 시각-언어-행동(VLA) 모델에는 숨은 약점이 있습니다. 종종 언어 명령을 진정으로 이해하기보다 시각적 단서에 의존한다는 점입니다. 새로운 사전학습 방법인 LA4VLA는 훈련 중 시각을 완전히 제거하여 로봇이 단어와 행동 사이의 직접적인 연결을 배우도록 강제하며, 그 결과 명령 수행 능력이 극적으로 향상됩니다.
목차
연구진이 만든 것
LA4VLA(언어-행동 for 시각-언어-행동) 팀은 진단 실험에서 시작했습니다. 표준 VLA 정책에서 시각 입력을 교체하거나 제거했을 때, 명령어는 동일하게 유지되었음에도 로봇의 언어 명령 수행 능력이 붕괴되었습니다. 이는 일반적인 VLA 훈련이 실제로 행동을 언어에 기반하지 않고 시각적 패턴을 암기한다는 것을 증명했습니다.
이를 해결하기 위해, 그들은 시각 관찰을 완전히 제거한 33,000개의 에피소드로 구성된 LA4-33K 데이터셋을 구축했습니다. 각 에피소드는 "빨간 버튼 누르기" 또는 "왼쪽으로 미끄러지기"와 같은 짧은 "원자적 행동" 세그먼트로, 언어 명령어, 로봇 관절 상태, 운동 궤적만 쌍으로 구성됩니다. 이들은 대규모 DROID 데이터셋(10,000시간 이상의 로봇 시연)을 가져와, 시각-언어 모델(Qwen-3-VL-Plus)을 사용하여 긴 시연을 작은 조각으로 분할한 후 모든 이미지를 제거하여 구축했습니다. 그 결과, 로봇이 단어를 움직임에 직접 연결하도록 가르치는 간결하고 시각 없는 훈련 신호가 탄생했습니다.
주요 결과
LA4VLA는 벤치마크, 아키텍처, 실제 로봇 전반에서 일관된 개선을 보여줍니다. MetaWork 태스크에서 LA 감독으로 사전학습된 1B 파라미터 모델은 VLA 데이터와 혼합(MixPT)했을 때 평균 성공률 87.53%를 기록했으며, LA 전용 사전학습은 83.00%, 사전학습 없음은 훨씬 낮았습니다. LIBERO 벤치마크에서 LA-VLA 순차 사전학습은 96.28%를 달성했으며, LA 단독은 95.30%였습니다.
시각적 노이즈가 있을 때 개선 효과는 더욱 두드러집니다. 사전학습 없는 표준 VLA 정책은 시각적 교란 하에서 27.5%의 성공률에 불과했습니다. VLA 사전학습은 이를 42.5%로 끌어올렸지만, LA 사전학습 단독으로 67.5%, MixPT는 70.0%를 달성했습니다.
| 사전학습 방법 | MetaWorld 평균 성공률 | LIBERO 평균 성공률 | 견고성(노이즈) |
|---|---|---|---|
| 사전학습 없음 | 58.39% (StarVLA 기준) | 93.70% | 27.5% |
| VLA 사전학습만 | N/A | N/A | 42.5% |
| LA 사전학습만 | 83.00% (1B 모델) / 69.91% (StarVLA) | 95.30% | 67.5% |
| LA-VLA 순차 | 86.75% | 96.28% | N/A |
| MixPT (LA + VLA 혼합) | 87.53% | 95.75% | 70.0% |
아키텍처 전이성도 유지됩니다: StarVLA를 LA로 사전학습하면 MetaWorld 성능이 11.52포인트 상승(58.39%에서 69.91%로)했으며, 가장 어려운 태스크는 30포인트 향상되었습니다.
작동 원리
LA4VLA는 세 단계로 작동합니다: 데이터셋 구축, 사전학습, 하류 파인튜닝.
데이터셋 구축. 연구진은 Qwen-3-VL-Plus를 사용하여 DROID 데이터셋의 9,560개 에피소드를 짧은 원자적 행동 구간으로 분할했습니다. VLM은 비디오 프레임, 태스크 설명, 키프레임 이벤트를 입력받아 각 세그먼트에 대한 JSON 목록을 출력했습니다. 각 세그먼트에는 기본 레이블(예: "밀기", "잡기", "미끄러지기"), 시각 무관 명령어, 시작/종료 타임스탬프가 포함됩니다. 에피소드당 입력 토큰은 4.63K에 불과하여 대규모 사용이 가능했습니다. 인간 주석자가 제안을 검증하고 개선했습니다.
사전학습. LA 사전학습 중 모델은 언어 명령어와 로봇의 고유수용 상태(관절 위치, 그리퍼 상태), 그리고 행동 궤적만 입력받습니다. 시각 관찰은 완전히 마스킹됩니다. 모델은 플로우 매칭 행동 헤드를 사용하여 연속적인 행동 시퀀스를 예측합니다. 이는 정책이 시각적 지름길에 의존하지 않고 직접적인 언어-행동 매핑을 구축하도록 강제합니다.
VLA와의 통합. 최상의 결과는 LA→VLA 순차 사전학습 또는 단일 단계에서 LA와 VLA 데이터를 혼합(MixPT)하는 방식으로 얻어집니다. 순차 접근법에서 모델은 먼저 언어-행동 매핑(시각 없음)을 학습한 후 시각을 활성화하여 파인튜닝합니다. MixPT에서는 두 유형의 배치를 하나의 사전학습 실행 동안 인터리브합니다.
실제 환경 배치. 병렬 그리퍼와 두 대의 RGB 카메라를 갖춘 UFactory xArm6에서 단일 멀티태스크 체크포인트를 90개의 원격 조작 시연(태스크당 30개: 버튼 누르기, 책 놓기, 음료 놓기)으로 파인튜닝했습니다. LA 사전학습 정책은 세 가지 태스크 모두에서 표준 VLA 정책보다 성능이 뛰어났으며, 특히 노이즈가 있거나 시야가 차단된 환경에서 두드러졌습니다.
로봇공학에서의 중요성
현재 세대의 VLA 모델은 대규모 비디오 데이터셋으로 훈련하는 데 비용이 많이 들지만, 카메라 각도가 바뀌거나 조명이 변하거나 센서가 성능이 저하되면 여전히 실패합니다. LA4VLA는 언어-행동 학습을 시각과 분리하면 이러한 취약성이 줄어든다는 것을 보여줍니다. 실제 창고에 휴머노이드 로봇이나 중고 산업용 로봇을 배치하는 로봇 구매자와 엔지니어에게 이는 더러운 렌즈, 조명 불량, 또는 일시적인 카메라 블랙아웃을 처리할 수 있는 정책을 의미합니다.
이 방법은 데이터 요구량도 줄입니다: LA4-33K는 기존 데이터셋만으로 구축되었으며, 새로운 로봇 작동이 필요하지 않았습니다. 이는 대규모 데이터 수집 예산이 없는 소규모 팀도 강력한 명령 수행 기능에 접근할 수 있게 합니다. 또한 사전학습된 언어-행동 매핑은 아키텍처 간에 전이되므로 연구 프로토타입부터 창고 로봇까지 모든 VLA 모델에 플러그인 개선으로 적용 가능합니다.
한계와 추가 질문
LA4VLA는 고품질 VLM의 시간적 분할에 의존합니다. VLM이 원자적 행동을 잘못 레이블링하면 노이즈가 사전학습 정책으로 전파됩니다. 인간 검증은 병목 현상을 추가합니다. 데이터셋은 현재 DROID 및 유사한 탁상 조작 태스크로 제한되며, 모바일 조작이나 인간-로봇 상호작용으로의 확장성은 불분명합니다. 또한, 이 방법은 데이터셋 구축 중에 일부 시각 데이터를 여전히 필요로 하므로(VLM 분할을 구동하기 위해), 처음부터 순수하게 시각 무관은 아닙니다. 마지막으로, 실험에 사용된 10억 파라미터 모델은 엣지 배포에 너무 큽니다. 임베디드 컨트롤러에서 실시간 사용을 위해 양자화와 증류가 필요합니다.
자주 묻는 질문
LA4VLA가 훈련 데이터에서 정확히 무엇을 제거하나요? 모든 카메라 이미지와 비디오 프레임을 제거하고, 언어 명령어, 로봇 관절 상태, 명령된 행동 궤적만 유지합니다. 시각은 이후 파인튜닝 단계에서 다시 도입됩니다.
LA 사전학습이 시각적 노이즈에 대한 견고성을 어떻게 향상시키나요? 정책이 시각적 지름길 없이 직접적인 언어-행동 매핑을 학습하도록 강제함으로써, 모델은 깨끗하고 일관된 시각 입력에 덜 의존하게 됩니다. 나중에 시각이 추가되면 정책은 명령 수행 능력을 잃지 않고 교란을 처리할 수 있습니다.
기존 VLA 모델에 LA4VLA를 사용할 수 있나요? 네, 이 방법은 아키텍처에 무관합니다. 논문은 InternVL3와 StarVLA 모두에서 성공을 입증했습니다. LA4-33K 데이터셋에서 모델을 사전학습한 후(또는 자체 LA 에피소드를 구축하여) 특정 태스크에 파인튜닝하면 됩니다.
LA4-33K 데이터셋은 공개적으로 사용 가능한가요? 논문은 데이터셋이 공개적으로 이용 가능한 DROID 데이터셋에서 구축되었다고 명시하지만, LA4-33K 에피소드의 공개 릴리스는 명시적으로 확인하지 않습니다. 접근 세부사항은 저자에게 문의하세요.
결론
LA4VLA는 현재 VLA 훈련의 치명적인 결함을 드러냅니다: 모델이 시각적 패턴에 의존하여 명령 수행을 가장한다는 점입니다. 시각 없는 언어-행동 에피소드로 사전학습함으로써, LA4VLA는 모델이 단어를 움직임에 진정으로 연결하도록 강제합니다. 그 결과는 더 견고하고 명령에 충실한 정책이며, 아키텍처 간에 전이되고 센서 노이즈 하에서도 우아하게 성능이 저하됩니다.