연구진이 개발한 LabVLA는 시각-언어-행동 모델로, 액체 따르기, 버튼 누르기, 비커 옮기기 등 복잡한 과학 실험 프로토콜을 로봇이 이해하고 실행할 수 있게 해준다. RoboGenesis에서 생성된 수백만 개의 합성 시연 데이터로 훈련된 이 모델은 여섯 가지 실험실 조작 과제에서 가장 높은 성공률을 기록했으며, 실제 벤치탑 로봇으로 직접 전이된다. 이는 일상적인 실험실 작업 자동화를 향한 큰 진전이다.
목차
연구진의 개발 내용
연구팀은 세 가지 긴밀하게 통합된 구성 요소를 만들었다. RoboGenesis는 프로그래밍 가능한 데이터 엔진으로, 3D 자산 라이브러리에서 검증된 실험실 장면을 구축한 후 집기, 따르기, 저기, 가열하기 같은 장기간 조작 워크플로우를 수동 코딩 없이 생성한다. 성공 검사기와 충돌 모니터를 사용하여 물리적으로 유효한 에피소드만 내보낸다.
LabEmbodied-Data는 결과로 나온 주석이 달린 성공 롤아웃 데이터로, 각 시연은 단순한 이미지-행동 쌍이 아닌 실험 프로토콜의 전체 구조를 보존한다. 이러한 구조화된 데이터가 다운스트림 VLA 훈련을 가능하게 한다.
LabVLA는 Qwen3-VL 언어 모델을 기반으로 구축된 시각-언어-행동 정책 자체다. FAST 행동 토큰 사전훈련을 통해 시각적 이력으로부터 미래 행동을 예측하고, 이후 흐름 매칭 사후훈련으로 연속적인 로봇 명령을 정교화한다. 훈련 중 '지식 절연' 설계는 언어 백본이 특정 장면에 과적합되는 것을 방지하여, 모델이 일반적인 실험실 조작에 대해 추론하도록 강제한다.
이 시스템은 다양한 실험실 배치를 절차적으로 생성하는 LabUtopia 시뮬레이션 벤치마크에서 실행되며, 실제 Franka 로봇 팔로 네 가지 실제 작업을 테스트했다.
주요 결과
LabVLA는 분포 내(ID) 및 분포 외(OOD) 두 환경에서 각 과제당 120회 에피소드로 평가되었다. OOD 테스트는 객체 배치, 외형 또는 장면 배치를 변경하여 일반화 능력을 테스트했다.
- LabVLA는 ID 및 OOD 조건 모두에서 모든 기준선 중 가장 높은 평균 성공률을 달성했다.
- 가장 큰 도전 과제는 액체 따르기로, LabVLA가 여전히 인간 수준의 신뢰성에 미치지 못하는 유일한 범주다.
- CLIP 기반 정책 및 이전 VLA 모델을 포함한 모든 기준선은 실험 기구 집기, 버튼 누르기, 문 열기, 비커 가열, 비커 운반 등 다른 모든 과제에서 성능이 뒤졌다.
- 실제 Franka 팔에서 시뮬레이션 사전훈련된 LabVLA는 미세 조정 없이 실제 벤치탑 조작으로 성공적으로 전이되어, 합성 데이터가 실제 세계로 일반화됨을 확인했다.
어떤 기준선도 LabVLA의 OOD 성능에 근접하지 못했으며, 이는 RoboGenesis의 다양한 장면 무작위화와 지식 절연 훈련 기법의 효과를 강조한다.
작동 방식
LabVLA 파이프라인은 환경 구축, 워크플로우 생성, 모델 훈련의 세 단계로 구성된다.
환경 구축은 시뮬레이션 가능한 3D 실험 기구 자산 라이브러리로 시작된다. RoboGenesis는 이를 물리적으로 실행 가능한 장면으로 조립하며, 도달 불가능한 배치, 누락된 기기, 불안정한 접촉, 잘못된 형상을 확인한다. 검증된 장면만 워크플로우 생성으로 진행된다.
워크플로우 생성은 실험 프로토콜을 자연어 템플릿으로 처리한다. 템플릿에는 명명된 객체, 목표 참조, 순서가 있는 원자적 스킬(집기, 따르기, 놓기, 저기 등) 목록이 포함된다. RoboGenesis는 객체와 스킬 매개변수를 무작위로 샘플링하여 각각 충돌 없는 로봇 궤적을 가진 수천 개의 고유 에피소드를 생성한다.
모델 훈련은 두 가지 새로운 기법을 사용한다. FAST 행동 토큰 사전훈련은 미래 로봇 행동을 이산 토큰으로 변환하고, VLM이 시각적 이력에서 이를 예측하도록 훈련한다. 이는 다음 토큰 예측과 유사하지만 모터 명령에 적용된다. 흐름 매칭 사후훈련은 이러한 이산 예측을 정밀한 조작을 위한 연속적인 행동 시퀀스로 부드럽게 만든다. 사전훈련 중 지식 절연이 적용된다. 언어 모델의 가중치가 부분적으로 고정되어 장면별 패턴을 암기하지 못하게 하여, 일반적인 실험실 추론을 학습하도록 강제한다.
데이터 파이프라인은 또한 모든 실패 에피소드를 폐기하고 성공적인 롤아웃만 유지한다. 각 스킬에는 물리적 조건(예: 따르기의 액체 전달)을 확인하는 자체 성공 검사기가 있으며, 충돌 모니터는 작업 완료 여부와 관계없이 금지된 접촉이 있는 단계를 거부한다.
로봇공학에 중요한 이유
실험실 자동화는 오랫동안 수동 코딩의 악몽이었다. 새로운 프로토콜마다 로봇 궤적을 처음부터 다시 작성해야 했다. LabVLA는 단일 시각-언어-행동 모델이 자연어 명령과 시각적 장면을 이해함으로써 다양한 실험실 작업을 처리할 수 있음을 보여주며, 작업별 프로그래밍이 필요 없다.
실험실 관리자 및 장비 구매자에게 이는 더 빠른 설정 시간, 전문 로봇 프로그래머 필요성 감소, 반복 실험 확장 능력을 의미한다. 이 시스템은 이미 실제 Franka 팔로 전이되므로, LabVLA 스택으로 개조할 수 있는 중고 협동로봇에도 관련이 있다.
더 넓은 로봇공학 업계에서 LabVLA의 합성 데이터 생성(RoboGenesis) 및 지식 절연 접근법은 구조화된 프로토콜이 있는 모든 도메인(실험실뿐만 아니라)에서 강력한 VLA 모델을 구축하기 위한 템플릿이다. 동일한 아이디어는 제조 조립, 주방 자동화 또는 의료 채혈에도 적용될 수 있으며, 이들 모두 긴 구조화된 조작 시퀀스를 포함한다.
실험 기구나 유사한 정밀 작업을 처리해야 하는 Robot Overflow의 휴머노이드 로봇을 사용하는 팀이라면, 여기 설명된 아키텍처가 훈련 청사진이 될 수 있다.
한계 및 미해결 과제
LabVLA는 현재 통제된 벤치탑 환경에서 단일 Franka 로봇 팔로만 작동한다. 액체 따르기는 여전히 어려운 과제로, 엎지름을 피하고 접촉을 유지하기 위한 미세한 협응이 필요하여 인간보다 더 자주 실패한다. 평가는 또한 실제 시약, 화학 안전 제약 또는 생물학적 오염 위험을 다루지 않았으며, 이는 실제 실험실 배치에 중요하다.
RoboGenesis를 습식 화학 및 생물학 워크플로우로 확장하는 경우(물질 상태 변화, 시간에 민감한 반응, 안전 인터록 필수) 새로운 성공 검사기와 충돌 모델이 필요할 것이다. 연구팀은 이를 다음 단계로 인정하지만, 현재 시스템은 건식 실험실 시뮬레이션과 간단한 물리적 전이 테스트로 제한된다.
자주 묻는 질문
LabVLA는 어떤 작업을 수행할 수 있나요? 실험 기구 집기, 장치 버튼 누르기, 문 열기, 액체 따르기, 비커 가열, 비커 운반 등 모든 작업을 자연어 명령으로 수행할 수 있습니다.
훈련을 위한 합성 데이터는 어떻게 생성되나요? RoboGenesis가 물리적으로 검증된 실험실 장면을 구축한 후, 프로토콜 템플릿을 샘플링하여 충돌 없는 궤적을 가진 수천 개의 성공적인 롤아웃 시연을 생성합니다.
LabVLA는 실제 로봇에서 작동하나요? 네, 시뮬레이션에서 사전훈련된 모델이 미세 조정 없이 실제 Franka 팔로 네 가지 작업을 전이했습니다.
LabVLA가 다른 VLA 모델과 다른 점은 무엇인가요? 지식 절연을 통한 FAST 행동 토큰 사전훈련으로 특정 장면에 과적합되는 것을 방지하고, 흐름 매칭을 통해 실제 세계에서 부드러운 행동 출력을 제공합니다.
결론
LabVLA는 고품질 합성 데이터와 장면 인식 훈련이 뒷받침될 때, 잘 설계된 시각-언어-행동 모델이 과학 실험실에서 요구되는 긴 구조화된 조작을 처리할 수 있음을 입증했다. RoboGenesis, LabEmbodied-Data 및 훈련 레시피를 공개함으로써 연구팀은 다른 이들이 이러한 방법을 새로운 기기와 프로토콜로 확장할 수 있는 장벽을 낮췄다.