최근 비전-언어-행동(VLA) 모델은 긴 조작 시퀀스에서 문맥을 유지하는 데 어려움을 겪는다. 연구진은 단기 버퍼와 장기 저장소로 구성된 듀얼 메모리 시스템을 구축하여 로봇 팔이 이전에 한 일과 앞으로 해야 할 일을 기억하게 함으로써 복잡한 다단계 작업의 성공률을 크게 높였다.
목차
연구진이 만든 것
대부분의 현재 VLA 모델은 관측 기록을 단일 고정 크기 임베딩으로 압축한다. 이는 집어 옮기기 같은 단순 작업에는 잘 작동하지만, 장난감 자동차 조립처럼 이전 단계를 기억해야 하는 긴 작업에서는 실패한다. 연구팀은 듀얼 잠재 메모리 구조를 도입하여 메모리를 단기 잠재 메모리(최근 세부 동작 추적)와 장기 잠재 메모리(높은 수준의 작업 진행 상황 저장)로 분리했다.
이 모델은 각 비디오 프레임과 언어 명령을 이 두 메모리 뱅크에 인코딩한다. 단기 메모리는 매 단계마다 업데이트되고, 장기 메모리는 에피소드 전체에 걸쳐 정보를 압축한다. 행동 생성 중 정책은 두 메모리에 모두 주의를 기울여 작업의 진행 정도에 따라 행동을 조정한다. 그 결과 최대 10단계까지 작업을 처리할 수 있는 VLA 모델이 탄생했다.
연구진은 시뮬레이션 탁상 환경에서 단일 팔 작업(블록 쌓기, 서랍 열기, 장난감 자동차 조립)을 통해 시스템을 테스트했다. 명시적 메모리가 없는 기본 VLA 및 스택형 LSTM 접근법과 비교했다.
주요 결과
듀얼 메모리 모델은 모든 장기 작업에서 기준 모델을 능가했다. 10단계 장난감 자동차 조립에서 기본 VLA는 12%의 성공률을 보인 반면, 듀얼 메모리 모델은 82%의 성공률을 기록하여 약 7배 향상되었다.
중간 길이 작업(5단계)에서는 듀얼 메모리 모델이 94%의 성공률을 기록한 반면 기본 모델은 63%였다. 짧은 3단계 작업에서도 98% 대 90%로 눈에 띄는 개선이 있었다.
다음 표는 작업 길이별 성공률을 보여준다:
| 작업 길이 | 기본 VLA | 듀얼 잠재 메모리 | 개선 폭 |
|---|---|---|---|
| 3단계 | 90% | 98% | +8% |
| 5단계 | 63% | 94% | +31% |
| 10단계 | 12% | 82% | +70% |
또한 모델은 재학습 없이도 다양한 물체 색상이나 서랍 높이 등 보지 못한 작업 변형에 일반화되어, 분포 외 5단계 작업에서 78%의 성공률을 유지했다.
작동 방식
각 시간 단계에서 로봇은 RGB 이미지와 자연어 명령(예: "빨간 블록을 집어 초록 접시 위에 놓아라")을 받는다. 비전 인코더(사전 훈련된 ViT)는 이미지 특징을 추출하고, 언어 인코더(CLIP)는 텍스트 특징을 추출한다.
단기 메모리는 순환 상태(GRU)로, 매 행동 후 업데이트된다. 최근 몇 개(보통 4~8개)의 관측과 행동을 저장하여 세분화된 시간적 문맥을 제공한다.
장기 메모리는 고정 크기 잠재 벡터로, 각 하위 작업이 끝날 때 압축되어 저장된다. 모델은 학습된 주의 마스크를 사용하여 행동 기록을 하위 작업으로 분할하는 방법을 학습한다. 하위 작업이 완료될 때만(예: 그리퍼가 블록을 놓았을 때) 장기 메모리가 업데이트되어 높은 수준의 진행 상황이 불필요하게 망각되는 것을 방지한다.
행동 예측 중 정책(소형 트랜스포머)은 현재 관측, 단기 메모리 상태, 장기 메모리 상태를 받아 7자유도 행동(3D 병진, 3D 회전, 1D 그리퍼)을 출력한다. 메모리 업데이트는 시연 데이터에 대한 행동 복제를 통해 종단간 학습된다.
듀얼 메모리는 기본 VLA에 비해 약 230만 개의 추가 파라미터만 추가되어 단일 GPU에서 실시간 배포가 가능하다.
로봇공학에서의 의의
장기 조작은 많은 로봇 팔이 실제 환경에서 사용되기 어려운 주요 병목이다. 값비싼 외부 상태 추적이나 반복적인 명령 없이 이미 수행한 작업을 기억할 수 있는 시스템은 실용적인 가정용 및 창고용 로봇 보조 도구로 가는 큰 발걸음이다.
중고 산업용 로봇을 평가하는 운영 관리자에게 이 연구는 제어 소프트웨어가 더 나은 메모리를 갖추면 기존 로봇 하드웨어도 더 복잡한 작업을 처리할 수 있음을 보여준다. 마찬가지로 휴머노이드 로봇도 양손 작업 시 이 접근법의 혜택을 받을 수 있다.
듀얼 메모리 접근법은 로봇의 물리적 설정 변경이 필요 없으며 순수한 알고리즘 업그레이드이다. 따라서 통합업체는 기존 창고 로봇 및 픽 앤 플레이스 팔에 더 나은 장기 작업 능력을 개조할 수 있다.
한계와 과제
실험은 시뮬레이션에서 수행되었으며, 실제 환경에서는 시각적 노이즈, 조명 변화, 센서 드리프트가 메모리 정확도에 영향을 줄 수 있다. 또한 모델은 시연 데이터에서 하위 작업 경계를 학습할 수 있다고 가정하는데, 액체 따르기처럼 경계가 모호한 작업은 장기 메모리 업데이트에 혼란을 줄 수 있다.
더 긴 작업(20단계 이상)으로의 확장은 아직 테스트되지 않았으며, 메모리 벡터가 포화될 수 있다. 저자들은 언어 명령이 중간에 변경될 때 모델이 유연하게 장기 계획을 업데이트하지 못한다고 지적한다. 마지막으로, 개방 루프 실행만 평가되었으며, 메모리를 이용한 폐쇄 루프 재계획은 다르게 작동할 수 있다.
자주 묻는 질문
듀얼 잠재 메모리는 어떤 문제를 해결하나요? 긴 조작 시퀀스에서 VLA 모델이 이전 단계를 잊는 문제를 해결하여 5단계 이상의 작업에서 성공률을 획기적으로 향상시킵니다.
특수 하드웨어가 필요한가요? 아니요. 듀얼 메모리 모듈은 소프트웨어 추가 사항으로, 카메라와 그리퍼가 장착된 모든 표준 로봇 팔에서 작동합니다.
메모리로 인한 추가 계산량은 얼마인가요? 약 230만 개의 추가 파라미터와 최소한의 추론 지연 시간이 추가되며, 모델은 단일 GPU에서 20Hz로 작동합니다.
훈련 세트에 없는 작업에도 적용할 수 있나요? 모델은 새로운 물체 색상과 약간 다른 물체 자세에 강한 일반화를 보였지만, 완전히 새로운 작업 구조에 대해서는 테스트되지 않았습니다.
결론
듀얼 잠재 메모리는 현재 VLA 모델의 중요한 약점인 긴 작업에서의 단기 기억 상실에 대한 간단하면서도 효과적인 해결책을 제시한다. 즉각적인 문맥과 장기 문맥을 분리함으로써 시뮬레이션 다단계 조작에서 최첨단 결과를 달성했다. 다음 단계는 실제 공장과 주방에서 작동함을 입증하는 것이다.