연구진이 FM-VLA를 개발했습니다. 이는 전용 힘 기반 메모리 모듈을 추가한 시각-언어-행동 모델로, 로봇이 복잡한 조작 작업 중 일련의 물리적 접촉에 대해 추론할 수 있게 합니다. 이 접근 방식은 인간형 로봇이 고전적인 '셸 게임'(컵을 들어 숨겨진 블록을 찾는 작업)과 같이 시각 정보만으로는 모호하고 이미 만진 컵을 기억해야 하는 작업에서 성공할 수 있도록 합니다.
목차
연구진이 만든 것
FM-VLA는 Force-based Memory for Vision-Language-Action models의 약자입니다. 핵심 혁신은 힘 메모리 모듈로, 이중 팔 인간형 로봇(AgiBot G1)의 손목 센서에서 기록된 6축 렌치 신호(3축 힘 + 3축 토크) 시퀀스로 훈련된 변분 오토인코더(VAE)입니다. VAE는 로봇의 접촉 이력을 작업에 구애받지 않는 압축된 표현으로 학습합니다. 이 잠재 표현은 '힘 메모리 토큰'으로 표준 VLA 정책에 주입되어, 시각적 관찰이 제한적이거나 동일한 경우(예: 시각적으로 동일한 두 컵)에도 로봇이 과거 물리적 상호작용을 기억할 수 있게 합니다.
이 시스템은 시간적 추론이 필요한 세 가지 접촉 집약적 작업(컵과 블록 '셸 게임'(16~24단계), 펙 삽입 작업, 서랍 열기 작업)에서 테스트되었습니다. 힘 메모리 토큰은 정책이 반복적인 시각 검사 없이 '이미 확인한' 컵과 '아직 확인하지 않은' 컵을 구별할 수 있게 합니다.
주요 결과
각 작업당 18회 시도(컵 작업에서 블록 위치당 9회)의 정량적 평가에서 FM-VLA는 세 가지 기준 모델을 크게 능가했습니다:
- 시각 전용 기준(힘 메모리 없음): 30% 미만의 시도에서 성공.
- 시각 + 단일 프레임 힘 조건(시간적 메모리 없음): 약 50%의 시도에서 성공, 시각적 단서가 모호할 때 자주 실패.
- 시각 + 시각 기반 메모리(프레임 스태킹 또는 순환 시각): 시각 전용보다 개선되었지만 물리적으로 동일한 상태를 구별하는 데 여전히 실패.
- FM-VLA(전체 모델): 모든 작업에서 85% 이상의 성공률 달성, 단계당 2ms 미만의 추론 오버헤드 추가.
힘 메모리 VAE는 모든 작업의 렌치 이력을 작업에 구애받지 않는 방식으로 훈련한 후 고정하고, 잠재 토큰(윈도우당 8개 토큰)을 미세 조정 중 VLA 행동 전문가에 공급했습니다. 제거 연구에 따르면 힘 메모리를 제거하거나 고유 수용 감각 전용 신호로 대체하면 성능이 기준 수준으로 떨어졌습니다.
작동 방식
FM-VLA는 표준 시각-언어-행동 모델을 2단계 훈련 파이프라인으로 확장합니다.
1단계: 힘 메모리 VAE 사전 훈련. VAE는 모든 시연 작업 중 두 손목 센서에서 기록된 100Hz 6축 렌치 시계열로 훈련됩니다. 손실 함수는 각 잠재 차원에 자유 비트 정규화가 적용된 마스크-ELBO(증거 하한)입니다. 이는 접촉 이벤트의 시간적 패턴(예: 컵 들어 올리기, 내려놓기, 블록 잡기의 특징적인 힘 프로파일)을 인코딩하는 범용 잠재 공간을 생성합니다. 인코더는 렌치 이력의 슬라이딩 윈도우를 8개의 잠재 토큰으로 압축합니다.
2단계: VLA 정책에 통합. 고정된 VAE 인코더는 기존 시각 인코더(3개 RGB 카메라 스트림) 및 고유 수용 감각 인코더와 함께 정책에 연결됩니다. 8개의 힘 메모리 토큰은 행동 전문가 트랜스포머에서 행동 토큰과 연결됩니다. 정책은 작업 시연에 대해 종단 간 미세 조정되는 반면, VAE 인코더는 고정된 상태로 유지됩니다. 이는 힘 메모리 표현이 안정적으로 유지되고 작업별 세부 사항에 과적합되지 않도록 보장합니다.
추론 시 로봇은 언어 명령(예: "컵 아래 블록을 찾아 왼손으로 집으세요."), 시각 관찰, 현재 렌치 스트림을 받습니다. VAE 인코더는 과거 접촉에 대해 정책에 알리는 메모리 토큰을 출력합니다. 예를 들어, 첫 번째 컵을 들어 올리고 블록을 찾지 못한 후 '컵 내려놓기'의 렌치 서명이 인코딩되어 정책이 해당 컵을 다시 들어 올리지 않도록 합니다.
이 모델은 두 개의 7자유도 팔, 그리퍼, 각 손목에 6축 힘/토크 센서를 갖춘 AgiBot G1 이중 팔 인간형 로봇에서 평가되었습니다. 훈련에는 50k 미세 조정 단계, WSD 스케줄, 배치 크기, 이미지 드롭아웃이 사용되었습니다.
로봇공학에 중요한 이유
힘 감지는 저렴하고 견고하며 많은 인간형 로봇 및 협동 로봇에서 사용 가능합니다. 힘 이력을 시간적 기억의 형태로 사용하는 능력은 현재 자세나 시각적 장면뿐만 아니라 물리적 이벤트의 순서를 이해해야 하는 작업을 가능하게 합니다. 이는 제조, 조립, 물류에서 로봇이 모양은 같지만 상태가 다른 부품(예: 빈 용기 vs. 채워진 용기)을 검사, 분류, 조작해야 하는 경우에 중요합니다.
FM-VLA의 접근 방식은 유연한 작업을 위해 재사용되는 중고 산업용 로봇에 특히 관련이 있습니다. 저렴한 힘 센서와 이 메모리 모듈을 추가하면 비싼 비전 업그레이드 없이 새로운 기능을 가능하게 할 수 있습니다. 창고 로봇의 경우 바코드 스캐너가 실패하더라도 힘 메모리를 통해 어떤 품목이 집었는지 추적할 수 있습니다.
한계 및 미해결 과제
현재 VAE는 8개의 고정 병목 잠재 토큰을 사용하므로 수백 개의 접촉 이벤트가 있는 매우 긴 작업에서 성능이 제한될 수 있습니다. 수십 개의 집어넣기 단계가 있는 가구 조립과 같은 작업에는 계층적 또는 적응형 압축이 필요할 수 있습니다.
VAE는 세 가지 작업에 대한 시연 데이터 세트로만 훈련됩니다. 다양한 힘/토크 기록(예: 공개 조작 데이터 세트)이 포함된 대규모 로봇 데이터 세트로 사전 훈련하면 새로운 환경이나 센서 유형에 대한 일반화를 개선할 수 있습니다.
마지막으로 힘 메모리는 손목에 장착된 6축 렌치 센서에서 추출됩니다. 모든 로봇에 이러한 센서가 있는 것은 아닙니다. FM-VLA를 관절 토크 센서나 전류 감지에 적응시키면 적용 범위를 넓힐 수 있습니다.
자주 묻는 질문
힘 메모리 VAE란 무엇인가요? 힘/토크 신호 시퀀스를 로봇의 최근 물리적 상호작용 이력을 나타내는 작은 잠재 토큰 세트로 압축하도록 훈련된 변분 오토인코더입니다.
FM-VLA는 표준 VLA와 어떻게 다른가요? 표준 VLA는 현재 시각 및 고유 수용 상태를 처리하는 반면, FM-VLA는 시간적 힘 패턴을 인코딩하는 전용 메모리 모듈을 추가하여 시각 입력이 모호할 때도 로봇이 과거 접촉에 대해 추론할 수 있게 합니다.
FM-VLA를 실행하는 데 필요한 하드웨어는 무엇인가요? 로봇 손목에 6축 힘/토크 센서(또는 유사한 접촉 감지)와 시각-언어-행동이 가능한 컴퓨팅 플랫폼이 필요합니다. AgiBot G1 이중 팔 인간형 로봇에서 시연되었습니다.
FM-VLA는 다른 로봇 아키텍처에서도 작동할 수 있나요? 네, 힘 메모리 모듈은 모델에 구애받지 않으며 힘/토크 데이터를 사용할 수 있는 한 추가 토큰 시퀀스를 허용하는 모든 VLA 정책에 통합될 수 있습니다.
결론
FM-VLA는 시각-언어-행동 모델에 전용 힘 기반 메모리를 추가하면 시간적 추론이 필요한 접촉 집약적 조작 작업의 성능을 극적으로 향상시킨다는 것을 보여줍니다. 저렴하고 널리 사용되는 힘/토크 센서를 활용하여 최소한의 계산 오버헤드로 강력한 물리적 메모리를 달성하며, 실제 조립 및 검사 작업을 위한 더 유능하고 신뢰할 수 있는 로봇으로 나아가고 있습니다.