연구진이 개발한 FabriVLA는 컴팩트한 비전-언어-행동(VLA) 모델로, Meta-World MT50 벤치마크에서 50가지 다양한 로봇 조작 작업에 대해 92%의 성공률을 달성했습니다. 이 모델은 10억 파라미터의 비전-언어 백본과 플로우 매칭 액션 헤드를 결합하여 단일 단계로 엔드투엔드 학습됩니다. 이는 정밀한 멀티태스크 조작에 거대한 수십억 파라미터 VLM이 필요하지 않음을 보여줍니다.
목차
연구진이 만든 것
FabriVLA는 정밀한 멀티태스크 로봇 조작을 위해 설계된 경량 VLA 모델입니다. 세 가지 주요 구성 요소로 이루어져 있습니다: InternVL3.5 비전-언어 백본(약 10억 파라미터), 엔드이펙터 자세와 물체 위치를 처리하는 상태 인코더, 그리고 액션 시퀀스를 생성하는 플로우 매칭 액션 헤드.
액션 헤드는 두 가지 새로운 설계 요소를 통합합니다. 게이트 자기 주의는 서로 다른 시간 단계의 액션 토큰이 학습 가능한 게이트(초기값 0)를 통해 서로 주의를 기울일 수 있게 합니다. 게이트는 학습 초기에 닫혀 있어 각 액션 토큰이 VLM 컨텍스트에만 교차 주의를 기울이다가, 학습이 진행되면서 점차 열려 50단계 액션 호라이즌에 걸쳐 시간적 의존성을 포착합니다. 이는 초기 최적화 불안정을 방지합니다. 얕은 VLM 계층 융합은 최종 VLM 계층의 출력을 중간 계층(InternVL3.5의 계층 6)과 결합하여, 고수준 의미 정보와 저수준 공간 세부 정보를 모두 액션 헤드에 제공합니다. 이는 정밀한 물체 위치 파악과 접촉이 많은 작업에 중요합니다.
FabriVLA는 Evo-1 Meta-World 데이터셋(50개 작업, 2,500개 궤적)에서 단일 단계로 학습됩니다. VLM 백본을 포함한 모든 파라미터가 처음부터 고정되지 않고 함께 최적화됩니다. 전체 모델은 단일 GPU에 들어가며, 많은 최신 VLA 모델이 사용하는 수백억 파라미터 백본이 필요하지 않습니다.
주요 결과
Meta-World MT50 벤치마크(4가지 난이도 등급의 50개 조작 작업)에서 FabriVLA는 등급 평균 성공률 90.0%와 전체 에피소드 성공률 92.0%를 달성합니다. 모델은 모든 난이도에서 일관된 성능을 보입니다:
| 난이도 등급 | 성공률 |
|---|---|
| 쉬움 | 95.0% |
| 중간 | 88.2% |
| 어려움 | 86.7% |
| 매우 어려움 | 90.0% |
| 등급 평균 | 90.0% |
| 전체 에피소드 | 92.0% |
제어된 절제 연구(효율성을 위해 VLM 백본 고정)에서 게이트 자기 주의 메커니즘이 결정적 요소로 밝혀졌습니다. 기본 액션 헤드에 게이트 자기 주의를 추가하면 등급 평균 성공률이 48.5%에서 57.7%로, 전체 에피소드 성공률이 55.4%에서 66.9%로 상승합니다. 얕은 VLM 계층 융합은 전체 모델에서 추가 기여를 하여, 깊은 계층만 사용한 기준선 대비 등급 평균에서 7.1%, 전체 점수에서 5.2% 포인트 향상시킵니다.
작동 원리
FabriVLA는 액션 생성을 플로우 매칭 문제로 다룹니다. 액션을 직접 예측하는 대신, 균일 노이즈를 전문가 액션 청크로 부드럽게 변환하는 시간 의존적 벡터 필드를 학습합니다. 액션 헤드는 재밍 호라이즌 방식으로 실행되는 50단계 액션 청크를 예측합니다.
게이트 자기 주의는 액션 토큰이 서로 주의를 기울일 수 있는 트랜스포머 블록으로 구현되지만, 주의는 초기값 0인 학습 가능한 스칼라에 의해 게이트됩니다. 학습 초기에는 게이트가 닫혀 있어 블록이 교차 주의만 수행합니다. 학습이 진행됨에 따라 게이트가 열리며 모델이 단계 간 의존성을 점진적으로 학습합니다. 이는 무작위 초기화된 액션 토큰이 처음부터 서로 주의를 기울일 때 발생하는 최적화 어려움을 방지합니다.
얕은 VLM 계층 융합은 최종 VLM 계층의 출력을 중간 계층(InternVL3.5의 계층 6)과 연결합니다. 최종 계층은 작업 수준 추론을 위한 풍부한 의미 이해를 제공하고, 중간 계층은 정밀한 위치 파악과 접촉에 필요한 저수준 공간 특징을 유지합니다. 이 융합된 표현이 액션 헤드의 교차 주의 메커니즘에 입력됩니다.
상태 인코더는 ReLU 활성화를 사용하는 2계층 MLP로 로봇 상태를 단일 토큰으로 임베딩하여 VLM 컨텍스트 시퀀스 앞에 추가합니다. 학습은 혼합 정밀도와 DeepSpeed ZeRO-2 최적화를 사용하여 단일 GPU에서 15만 스텝 동안 진행됩니다.
로봇 분야에 중요한 이유
FabriVLA는 10억 파라미터 백본만으로도 훨씬 더 큰 모델과 동등하거나 더 나은 성능을 멀티태스크 조작 벤치마크에서 달성할 수 있음을 보여줍니다. 이는 비용과 배포에 직접적인 영향을 미칩니다. 더 작은 모델은 더 적은 GPU 메모리, 더 낮은 추론 지연 시간을 필요로 하며 엣지 하드웨어에서 실행될 수 있어 실제 로봇 응용에 실용적입니다.
아키텍처는 모듈식입니다: 플로우 매칭 액션 헤드, 게이트 자기 주의, 계층 융합은 모두 이식 가능한 설계 선택으로 다른 VLM 백본에도 적용할 수 있습니다. 이는 대규모 계산 예산 없이 더 작은 데이터셋에서 학습하고 특정 작업에 미세 조정할 수 있는 경량 모델의 가능성을 열어줍니다.
중고 산업용 로봇이나 창고 로봇을 평가하는 로봇 구매자와 엔지니어에게 FabriVLA와 같은 컴팩트 VLA는 최신 고성능 GPU 없이도 멀티태스크 기능을 가능하게 할 수 있습니다. 또한 미래 세대 로봇이 비교적 적은 온보드 연산으로 다목적 조작을 달성할 수 있음을 시사합니다.
한계와 미해결 질문
모든 평가는 시뮬레이션(Meta-World)에서 수행되었으며, 실제 환경으로의 전환은 아직 입증되지 않았습니다. 벤치마크는 50개 작업만 포함하며, 다양하지만 산업 조작 시나리오의 전체 범위를 포괄하지는 않습니다. 액션 호라이즌이 50단계로 고정되어 있어 수백 단계가 필요한 장기 작업에는 충분하지 않을 수 있습니다.
절제 연구는 VLM 백본을 고정하고 학습 단계를 줄여 수행되었으므로, 전체 공동 학습 모델에서 게이트 자기 주의의 상대적 기여도는 보고된 수치와 다를 수 있습니다. 또한, 보지 못한 작업에 대한 제로샷 일반화 성능은 탐구되지 않았습니다.
마지막으로, FabriVLA는 특정 VLM 백본(InternVL3.5)을 사용합니다. 이 설계 선택이 다른 백본에 얼마나 잘 일반화되는지, 또는 왜 계층 6이 얕은 융합에 선택되었는지는 불분명합니다.
자주 묻는 질문
FabriVLA가 다른 VLA 모델과 다른 점은 무엇인가요? FabriVLA는 게이트 자기 주의와 얕은 계층 융합을 갖춘 플로우 매칭 액션 헤드를 사용하며, 고정 없이 공동 학습되어 10억 파라미터 VLM 백본으로 높은 성능을 달성합니다.
더 큰 백본을 사용하는 모델과 비교하면 어떠한가요? FabriVLA는 비교적 작은 비전-언어 모델을 사용함에도 불구하고 Meta-World MT50에서 많은 대형 VLA 모델의 보고된 결과와 동등하거나 더 나은 92% 전체 성공률을 달성합니다.
실제 로봇에 배포할 수 있나요? 현재 연구는 시뮬레이션에 국한되지만, 모델의 작은 크기는 엣지 하드웨어에서 실제 배포에 강력한 후보가 됩니다. 실제 로봇 실험은 자연스러운 다음 단계입니다.
FabriVLA는 어떤 작업을 수행하나요? Meta-World MT50 제품군의 50개 작업을 수행하며, 간단한 도달 및 밀기부터 문 열기, 핀 삽입, 너트 조립과 같은 복잡한 작업까지 다양합니다.
결론
FabriVLA는 대규모 VLM에 의존하지 않는 경량 아키텍처로 멀티태스크 조작에서 최첨단 결과를 달성했습니다. 게이트 자기 주의와 얕은 계층 융합 설계는 실용적인 기여로, 향후 VLA 모델 개발에 영향을 줄 수 있습니다. 이 모델은 컴팩트하고 효율적인 VLA 모델이 정밀한 멀티태스크 조작 성능을 제공할 수 있음을 보여줍니다.