TurboVLA라는 새로운 경량 아키텍처는 실시간 로봇 제어 정책이 시각 장면과 자연어 명령을 모두 이해하면서도 소비자용 RTX 4090 GPU에서 32Hz, 1GB 미만의 비디오 메모리로 작동할 수 있음을 증명합니다. 대규모 언어 모델 백본을 소형 비전-언어 상호작용 모듈로 대체함으로써, 이 시스템은 속도나 메모리 효율성을 희생하지 않고 양팔 및 단일 팔 조작 작업에서 경쟁력 있는 성공률을 달성합니다.
목차
연구진이 구축한 것
TurboVLA는 실시간 로봇 제어를 위한 비전-언어-행동(VLA) 모델입니다. 대부분의 최신 VLA가 대규모 언어 모델(LLM)을 사용하여 시각 및 텍스트 정보를 융합하는 반면, TurboVLA는 두 모달리티를 분리하고 경량 교차 모달 상호작용 모듈을 사용하여 정렬합니다. 이 설계는 계산 및 메모리 요구 사항을 획기적으로 줄입니다.
이 모델은 손목 또는 고정 카메라의 이미지, 자연어 명령(예: "빨간 블록 집어"), 로봇의 현재 관절 위치 등 세 가지 입력을 받습니다. 연속적인 관절 각도 동작 시퀀스(양팔 작업의 경우 50단계 동작 청크, 단일 팔 작업의 경우 더 짧은 청크)를 출력합니다. 동작 예측은 소형 ACT(Action Chunking with Transformers) 스타일 디코더에 의해 수행됩니다.
TurboVLA는 단일 RTX 4090 GPU에서 1GB 미만의 VRAM으로 32Hz로 실행 가능하므로, 고가의 서버 하드웨어 없이 실제 배포가 가능합니다. 연구진은 LIBERO 단일 팔 벤치마크, RoboTwin 2.0 양팔 벤치마크 및 실제 로봇 플랫폼에서 평가했습니다.
주요 결과
연구진은 TurboVLA를 RT-2, Octo와 같은 LLM 중심 모델, ACT, Diffusion Policy와 같은 더 가벼운 정책 등 여러 최신 VLA와 비교했습니다. 주요 결과:
- LIBERO (단일 팔): TurboVLA는 10개 작업에서 평균 91.2%의 성공률을 달성하여 최고의 LLM 기반 방법과 일치하면서 10배 빠르고 20배 적은 메모리를 사용했습니다.
- RoboTwin 2.0 (양팔): 50개의 언어 조건 양팔 작업에서 단일 멀티태스크 모델로 평균 78.5%의 성공률을 달성했습니다. 이는 StarVLA(80.3%)와 경쟁력 있지만 매개변수는 3분의 2, 추론 지연 시간은 절반입니다.
- 효율성: 총 매개변수: 185M (LLM 기반 VLA의 10억 이상 대비). 추론 지연 시간: 31ms (32Hz) (RTX 4090 기준). 최대 VRAM 사용량: 0.9GB.
- 실제 로봇 배포: 실제 양팔 설정에서 5가지 조작 작업(예: 천 접기, 그릇 쌓기)에 대해 평균 82% 성공률을 달성했습니다.
아래 논문의 표는 방법별 효율성 및 성능 비교를 보여줍니다(텍스트에서 근사값):
| 방법 | 매개변수 | 추론 VRAM (GB) | 지연 시간 (ms) | RoboTwin 2.0 성공률 |
|---|---|---|---|---|
| StarVLA (LLM 기반) | 1.2B | 4.2 | 65 | 80.3% |
| Octo (확산 기반) | 350M | 2.8 | 88 | 74.1% |
| ACT (기준) | 120M | 1.1 | 45 | 62.7% |
| TurboVLA | 185M | 0.9 | 31 | 78.5% |
작동 원리
TurboVLA의 효율성은 LLM의 무거운 멀티모달 융합을 피하는 이중 스트림 설계에서 비롯됩니다.
비전-언어 상호작용 모듈: 시각 특징은 DINOv3 ViT-L 비전 인코더로 추출되고, 명령 특징은 경량 텍스트 인코더(예: 소형 트랜스포머)로 인코딩됩니다. TurboVLA는 둘 모두를 대형 LLM에 공급하는 대신, 일련의 양방향 교차 주의 계층을 통과시킵니다. 각 계층은 다음을 사용합니다:
- 계층 정규화
- 시각-명령 주의 (장면 컨텍스트가 언어 스트림에 주입됨)
- 명령-시각 주의 (작업 의미가 시각 특징을 조건화함)
- 잔차 연결이 있는 두 개의 모달리티별 피드포워드 네트워크
몇 개의 계층 후에 두 스트림은 연결되어 융합된 멀티모달 표현을 형성합니다. 이 소형 모듈은 생성 또는 추론 능력의 오버헤드 없이 대상 객체, 속성 및 공간 관계를 명령과 효율적으로 정렬합니다.
연속 동작 청크 예측: 융합된 멀티모달 특징은 로봇 상태(관절 위치)와 함께 ACT 스타일의 경량 트랜스포머 디코더에 입력됩니다. 이 디코더는 단일 순방향 패스로 미래 동작의 청크(예: 이중 팔 제어의 경우 14차원 관절 위치의 50단계)를 예측합니다. 동작 청크는 단계별 자기회귀 생성 없이 부드러운 폐루프 실행을 가능하게 하여 지연 시간을 더욱 줄입니다.
전체 모델은 L1 동작 손실을 사용한 행동 복제를 통해 시연 데이터로 종단간 훈련됩니다. 훈련은 단일 RTX 4090에서 55k 스텝(1k 워밍업, 배치 크기 192)을 사용합니다.
로봇 공학에 중요한 이유
TurboVLA는 중요한 질문에 답합니다: 저렴한 하드웨어에 맞는 실시간 명령 추종 로봇 제어가 가능한가? 대부분의 최신 VLA는 수십억 매개변수 LLM을 탑재하여 클라우드 수준의 컴퓨팅과 폐루프 제어를 어렵게 만드는 높은 지연 시간 추론이 필요합니다. TurboVLA는 소형의 특화된 아키텍처도 비교 가능한 작업 성공률을 제공하면서 반응형 조작에 충분히 빠른 32Hz로 실행될 수 있음을 보여줍니다.
창고 로봇, 공장 바닥의 중고 협동 로봇, 또는 음성 명령에 빠르게 응답해야 하는 휴머노이드 로봇에게 이는 획기적인 변화입니다. 즉, 로봇 제어기가 단일 소비자 GPU에서 실행되어 하드웨어 비용을 획기적으로 줄일 수 있습니다. 또한 엣지 배포—외부 서버나 네트워크 지연 없이 로봇의 온보드 컴퓨터에서 직접 정책 실행—의 가능성을 열어줍니다.
경량 설계는 전력 소비와 열적 스트레스도 줄여주므로 모바일 로봇과 드론에 중요합니다. 산업용 로봇을 구축하거나 구매하는 기업에게 TurboVLA는 의미 이해와 실시간 제어가 값비싼 추론 하드웨어 없이도 결합될 수 있음을 시사합니다.
한계 및 미해결 질문
TurboVLA는 강력한 진전이지만 명확한 한계가 있습니다. 비전-언어 상호작용 모듈은 LLM처럼 일반 추론이나 복잡한 다단계 명령을 따를 수 없습니다—기반이 있는 작업 특화 정렬에 탁월하지만 개방형 대화에는 적합하지 않습니다.
현재 평가는 통제된 환경의 테이블탑 조작에 초점을 맞추고 있습니다. 지저분하고 동적인 환경이나 의미 추론(예: "문맥에 따라 객체를 제자리에 놓아라")이 필요한 작업으로 일반화하려면 더 정교한 언어 이해가 필요할 것입니다. 또한 동작 청크 예측기는 연속적으로 실행될 때만 폐루프입니다. 로봇이 예기치 않은 상태를 만나면 추가 프레임워크 지원 없이 복구되지 않을 수 있습니다.
마지막으로 훈련 데이터는 주로 수술 텔레오퍼레이션 시연에서 비롯됩니다. TurboVLA가 다른 동역학을 가진 다른 로봇 플랫폼이나 작업으로 얼마나 잘 전이되는지는 아직 알려지지 않았습니다. 메모리와 지연 시간을 낮게 유지하면서 더 다양한 작업으로 접근 방식을 확장하는 것은 여전히 미해결 과제입니다.
자주 묻는 질문
TurboVLA를 실행하려면 어떤 하드웨어가 필요한가요? 단일 NVIDIA RTX 4090과 최소 1GB의 여유 VRAM이 필요합니다. 모델은 최대 0.9GB를 사용하며 32Hz로 실행됩니다.
TurboVLA를 로봇 공학에 대규모 언어 모델을 사용하는 것과 비교하면 어떤가요? 10-20배 빠르고 훨씬 메모리 효율적이지만, LLM의 일반 추론 및 대화 능력은 부족합니다. 단순한 픽 앤 플레이스 또는 조작 작업에서는 성공률이 비슷합니다.
TurboVLA가 모든 로봇 팔을 제어할 수 있나요? 동작 출력은 관절 위치 명령이므로 동일한 관절 구성을 가진 모든 로봇에 적용할 수 있습니다. 현재 실험에서는 절대 관절 제어를 사용한 양팔 및 단일 팔 설정을 사용했습니다.
TurboVLA를 메모리 효율적으로 만드는 것은 무엇인가요? 핵심 혁신은 대규모 언어 모델 없이 비전 및 언어 특징을 정렬하는 양방향 교차 주의 모듈입니다. 이는 총 매개변수 수를 2억 미만으로 유지하고 추론 중에 대용량 KV 캐시 저장을 피합니다.
결론
TurboVLA는 경량 실시간 VLA 정책이 먼 미래의 환상이 아니라 오늘날 단일 RTX 4090에서 1GB 미만의 메모리로 작동함을 증명합니다. LLM 백본을 소형 교차 모달 상호작용 모듈로 대체함으로써 팀은 32Hz로 실행하면서 조작 벤치마크에서 최첨단에 가까운 성공률을 달성했습니다. 다음 과제는 속도를 희생하지 않고 더 복잡한 작업과 동적 환경으로 이 효율성을 확장하는 것입니다.