MemoryVLA++는 기존의 시각-언어-행동(VLA) 모델에 전용 메모리 뱅크와 미래 시각 상태를 상상하는 세계 모델을 추가하여, 시간적 추론, 기억 회상, 예측적 계획이 필요한 작업을 로봇이 처리할 수 있도록 합니다. 과거 관측값과 상상된 미래 시나리오를 결합함으로써, 시뮬레이션 및 실제 로봇 모두에서 장기간 및 기억 의존적 조작 작업의 성공률을 크게 향상시킵니다.
목차
연구진이 만든 것
연구팀은 MemoryVLA++를 개발했습니다. 이는 기존 VLA 접근법에 없던 두 가지 핵심 구성 요소인 시간적 메모리 모듈과 상상 모듈(세계 모델)을 추가한 시각-언어-행동 모델입니다. 메모리 모듈은 가변 길이(16~256 스텝)에 걸쳐 과거 관측값의 압축된 잠재 표현을 저장하여, 로봇이 작업 초기에 발생한 이벤트를 추론할 수 있게 합니다. 상상 모듈(별도로 훈련된 확산 기반 세계 모델)은 현재 관측값과 행동 계획을 바탕으로 예측된 미래 시각 특징을 생성하여, 로봇이 실행 전에 결과를 '상상'할 수 있도록 합니다.
이 모델은 단일 팔 및 이중 팔 조작 모두에 대해 연속적인 7-DoF 동작(엔드 이펙터 병진, 회전, 그리퍼 상태)을 출력합니다. Franka Panda, WidowX, 커스텀 이중 팔 설정 등 세 가지 로봇 플랫폼에서 테스트되었습니다. 5개의 시뮬레이션 벤치마크(Libero, SimplerEnv, Mikasa-Robo, Calvin, Libero-Plus)와 17개의 실제 작업에서 MemoryVLA++는 강력한 CogACT 기준선을 일관되게 능가했으며, 특히 순차적 버튼 누르기나 컨베이어 벨트 위 가방 포장과 같은 장기간 및 기억 의존적 작업에서 두드러졌습니다.
주요 결과
평가는 거의 200개 작업에 걸쳐 다양한 변형으로 수행되었습니다. Libero 벤치마크(130개 작업)에서 MemoryVLA++는 Spatial, Object, Goal, Long-10, Long-90 등 5개 제품군 모두에서 CogACT보다 높은 성공률을 달성했으며, 가장 큰 향상은 장기간 Long-90 제품군에서 나타났습니다. BridgeData-v2로 훈련되고 제로샷으로 테스트된 SimplerEnv에서는 일반 조작 성공률에서 이전 방법을 확연히 능가했습니다.
Mikasa-Robo(5개의 기억 의존적 작업)에서 MemoryVLA++는 과거 물체 상태를 기억해야 하는 작업을 마스터한 반면, 표준 VLA 모델은 두 번째나 세 번째 단계에서 자주 실패했습니다. Calvin 벤치마크(장기간 언어 조건부 체인 작업)에서 모델은 평균적으로 5개 연속 명령 중 4개 이상을 완료하여 이전 최고 기록보다 10% 포인트 이상 높았습니다. Libero-Plus(7가지 분포 외 변형을 통한 강건성 및 일반화)에서 모델은 제로샷 설정에서도 강력한 강건성을 보였으며, 지도 미세 조정을 통해 더욱 개선되었습니다.
17개 작업('Guess Where'(기억 의존적), 'Conveyor Scan-Pick'(상상 의존적))의 실제 결과는 MemoryVLA++가 새로운 물체 배열, 가변 컨베이어 속도, 중단된 시퀀스를 처리할 수 있음을 보여주었습니다. 예를 들어, 'Bag Pack & Zip' 작업에서 이중 팔 로봇이 가방에 손을 넣어 다섯 개의 물체를 포장하고 지퍼를 잠그는 작업을 10회 연속 시도에서 높은 부분 점수 성공률로 수행했습니다.
작동 원리
MemoryVLA++는 사전 훈련된 VLA 백본 위에 구축된 모듈식 아키텍처를 따릅니다. 핵심 혁신은 세 가지 정보 스트림을 처리하는 시간 인식 행동 전문가를 추가한 것입니다: 1) 현재 시각 관측값(이미지 토큰), 2) 과거 잠재 메모리 시퀀스, 3) 상상된 미래 시각 특징.
메모리 모듈: 훈련 중 모델은 각 관측-행동 쌍을 인코더를 통해 컴팩트한 잠재 토큰으로 압축합니다. 이 토큰들은 링 버퍼에 저장됩니다. 추론 시 마지막 _N_개의 메모리 토큰을 검색하여 현재 관측 토큰과 교차 주의를 통해 컨텍스트 인식 특징을 생성합니다.
세계 모델: 별도의 확산 모델(시뮬레이션에서 40k 스텝, 실제 데이터에서 20k 스텝)이 현재 관측값과 행동 계획이 주어졌을 때 미래 시각 특징 토큰을 생성하도록 훈련됩니다. 장기간 작업 동안 로봇은 다음 몇 단계를 반복적으로 상상하고, 상상된 특징은 실제 관측값과 결합되어 행동을 선택합니다.
시간적 행동 융합: 메모리와 상상에서 나온 인지 인식 특징은 현재 프레임의 세부 시각 정보를 주입하는 지각-주의 레이어를 거친 후, FFN을 통과합니다. 최종 잡음 제거 표현은 MLP에 의해 7-DoF 연속 동작(병진, 회전, 그리퍼)으로 투영됩니다. 훈련은 예측된 행동 시퀀스와 목표 행동 시퀀스 간의 평균 제곱 오차(MSE) 손실을 사용합니다.
이 모델은 가변 메모리 길이를 지원합니다(일반 작업의 경우 16 스텝, 장기간 시간 작업의 경우 256 스텝). 단일 GPU에서 5~10Hz로 작동하여 실시간 로봇 제어에 실용적입니다.
로봇공학에서의 중요성
VLA 모델에 명시적 메모리와 상상력을 추가하는 것은 단순한 집기와 놓기 이상의 실제 작업을 위해 로봇을 배치할 때 중요한 병목 현상을 해결합니다. 스캔된 품목을 기억해야 하는 창고 로봇이나 매번 초기화하지 않고 일련의 단계를 따라야 하는 주방 로봇이 이 접근법의 주요 대상입니다.
예를 들어, 혼합 품목을 컨베이어 벨트로 분류하는 창고 로봇은 상상 모듈을 사용하여 충돌을 예측하고 미리 그립을 계획할 수 있습니다. 마찬가지로 다단계 조립을 수행하는 휴머노이드 로봇은 이전 행동의 기억을 활용할 수 있습니다. MemoryVLA++는 협업적 이중 팔 작업에서도 가능성을 보여주는데, 이는 상용 VLA 시스템에서는 아직 드문 기능입니다.
모듈식 설계 덕분에 기존 VLA 모델(CogACT, Octo 등)을 완전히 재훈련하지 않고도 시간 모듈을 추가할 수 있어, 로봇 통합업체의 채택 장벽을 낮춥니다. 세계 모델이 개선됨에 따라 로봇은 고정된 스크립트 환경이 아닌 동적이고 부분적으로 관측 가능한 환경에서 점점 더 잘 작동할 수 있습니다.
한계 및 미해결 질문
MemoryVLA++는 강력한 결과를 달성했지만, 몇 가지 한계가 남아 있습니다. 세계 모델은 수집된 시연 데이터로 오프라인 훈련되며, 물체의 알려지지 않은 질량이나 마찰과 같은 완전히 새로운 역학에는 일반화되지 않을 수 있습니다. 메모리 버퍼는 정보를 압축하는 잠재 토큰을 저장하지만, 정밀한 작업(예: 좁은 구멍에 핀 삽입)에 필요한 세부 정보가 손실될 수 있습니다. 계산 비용은 메모리 길이에 선형적으로 증가하여 임베디드 하드웨어에서 실시간 작동이 어려울 수 있습니다. 마지막으로, 상상 모듈은 행동 정책과 함께 훈련되지 않았습니다. 이들을 종단간 통합하면 추가적인 성능 향상을 얻을 수 있습니다.
자주 묻는 질문
VLA 모델이란 무엇인가요? 시각-언어-행동(VLA) 모델은 카메라 이미지와 자연어 명령을 입력으로 받아 명시적인 모션 플래닝이나 인식 파이프라인 없이 직접 로봇 모터 명령을 출력합니다.
메모리 모듈은 단순히 프레임 히스토리를 사용하는 것과 어떻게 다른가요? MemoryVLA++는 원시 픽셀이 아닌 압축된 잠재 표현을 저장하므로 계산량을 줄이고 메모리 오버플로 없이 더 긴 시퀀스(최대 256 스텝)를 유지할 수 있습니다.
MemoryVLA++는 모든 로봇에 사용할 수 있나요? 네, 출력 동작 공간(7-DoF 연속)은 대부분의 관절형 로봇 팔에 공통적입니다. 이 모델은 Franka, WidowX, 이중 팔 설정에서 검증되었으며, 일관된 동작 정의를 통해 다른 플랫폼에도 적용할 수 있습니다.
실시간으로 MemoryVLA++를 실행하려면 어떤 하드웨어가 필요한가요? 저자들은 단일 Nvidia RTX 4090 GPU에서 실시간 추론(5~10Hz)이 가능하다고 보고합니다. 저전력 하드웨어에서는 메모리 길이나 세계 모델 해상도를 줄여야 할 수 있습니다.
결론
MemoryVLA++는 메모리 뱅크와 세계 모델을 통해 VLA 기반 로봇에 시간 인식을 부여하는 실용적인 방법을 제시합니다. 시뮬레이션과 실제 환경에서 거의 200개 작업에 걸쳐 테스트된 결과, 기준 모델을 일관되게 능가하며 특히 장기간 및 기억 의존적 작업에서 두드러집니다. 반응적 집기-놓기를 넘어서려는 로봇 팀에게 이 접근법은 명확한 업그레이드 경로를 제공합니다.