평가 과제: 메모리의 다양한 측면 측정
시뮬레이션 과제 3개와 실제 과제 1개를 통해 다음 세 가지 메모리 활용 능력을 평가한다.
- 부분 관측 환경에서의 개수 세기
- 공간 정보 회상
- 과거 경험을 활용한 문맥 내 적응
각 과제의 개요는 아래에 설명하며, 세부 사항은 부록에서 다룬다. 모든 기준선 모델은 시연 데이터에 대한 지도 행동 모방 학습으로 훈련했다.
DrawerRecall
DrawerRecall은 공간 정보 회상 능력을 평가한다. 먼저 다른 로봇이 세 개의 서랍 중 하나를 열고 큐브를 넣은 뒤 서랍을 닫는다. 이후 평가 대상 정책인 별도의 로봇이 큐브가 들어 있는 서랍을 열어야 한다.
BalanceBar
마지막으로 BalanceBar에서는 문맥 내 적응 능력을 평가한다. 로봇은 무게중심(CoM)을 알 수 없는 막대를 수평으로 유지하면서 들어 올릴 수 있는 기회를 두 번 받는다.
시연에서는 먼저 막대의 가운데를 잡고 들어 올려 무게중심을 드러낸 다음, 무게중심을 잡아 수평으로 들어 올린다. 학습된 정책 역시 같은 방식으로 행동해야 한다. 즉, 과거 기록을 이용해 무게중심을 파악하고 올바른 위치를 다시 잡아야 한다.
작업공간 모델은 VLM 추론을 성공적으로 분산 상환한다
이 연구의 핵심 동기는 느리고 계산량이 큰 VLM 기반 기록 요약 과정을 학습 시점에 분산 상환하여, 배포 환경에서 효율적으로 질의할 수 있는 경량 인코더로 바꾸는 것이다.
후속 정책의 성능을 평가하기에 앞서, 이러한 분산 상환이 실행 시간을 실제로 개선하는지 확인한다.
작업공간 모델은 왜 더 나은 과제 성능을 보이는가?
이 절에서는 작업공간 모델이 키프레임 검색을 효율화하도록 설계되었음에도 실제로는 키프레임 검색보다 더 뛰어난 성능을 보인다는 의외의 결과를 설명한다.
전체 기록과 키프레임 기록 모두 제어 실패를 유발한다
먼저 여러 방법에서 나타나는 실패 유형을 메모리 관련 오류와 제어 관련 오류로 나눈다.
메모리 관련 오류는 로봇이 기술 자체는 올바르게 수행하지만 잘못된 모드를 목표로 삼을 때 발생한다. 예를 들어 블록 다섯 개를 치워야 하는데 세 개만 치운 뒤 완료를 누르는 경우다.
제어 관련 오류는 로봇이 조작 기술을 수행하지 못할 때 발생한다. 예를 들어 블록을 잡으려다 놓치는 경우다.
시뮬레이션 실험에서 발생한 실패 결과를 분석한 결과, 예상대로 VanillaDP는 메모리 관련 오류를 자주 보였지만 행동 모드를 실행하지 못하는 경우는 드물었다.
키프레임 기반 방법은 제어 앨리어싱을 유발한다
HistoryDP처럼 일정 간격으로 프레임을 선택하거나 Keyframe처럼 VLM을 이용해 프레임을 선택하는 명시적 프레임 선택 방법은 학습 중 입력 구조에 앨리어싱을 만든다. 이러한 구조는 제한적인 학습 분포에서 벗어나는 분포 이동에 취약할 수 있다.
작업공간 모델은 왜 더 잘 일반화하는가?
작업공간 모델은 자체 학습 입력과 정책 입력으로 사용되는 출력 모두에서 매끄러운 특성을 보인다.
이러한 매끄러움은 다음 두 가지에서 비롯된다.
- 시간축 전체에 걸친 전역 어텐션으로 학습
- 작업공간 모델 출력의 매끄러운 특성
논의
우리는 로봇 조작에서 장기 메모리 문제를 해결하는 방법으로 작업공간 모델을 제시했다. 학습 시점에 VLM 추론을 분산 상환함으로써, VLM을 추론 과정에 직접 포함하는 대안보다 빠르고 견고하며 일반화 성능이 뛰어난 인코더를 얻을 수 있었다.
우리가 제안한 구체적인 구현, 즉 이미지 패치로 표현한 saliency set과 DETR 방식의 디코더는 이 아이디어를 실현하는 한 가지 방법이다. 다양한 대안과 다른 형태의 VLM 감독을 탐색할 가치가 있다.
예를 들어 향후 연구에서는 이 방법을 다중 카메라 스트림으로 확장하거나, 언어 추론 과정을 인코딩하거나, 동역학 예측을 통합할 수 있다.
보다 넓은 관점에서 우리는 이 연구가 이러한 관점을 확산하는 계기가 되기를 바란다. 핵심 원리는 로봇과 메모리를 넘어 확장된다. 테스트 시점에 강력한 파운데이션 모델을 반복적으로 호출해 구조화된 하위 과제를 해결하는 경우라면, 그 추론 과정을 더 빠르고 견고한 학습 모듈로 분산 상환할 기회가 있을 수 있다.
우리가 보였듯이, 분산 상환은 추론 과정에 더 강력한 모델을 포함하는 것보다 오히려 더 나은 결과를 낳을 수 있다.
작업공간 모델은 효과적으로 작동하지만 완전 자기회귀형 트랜스포머 인코더에 의존한다. 이 방식은 계산량이 시퀀스 길이에 대해 이차적으로 증가하므로, 시퀀스가 매우 길어지면 부담이 될 수 있다.
이를 완화하기 위해 작업공간 모델을 순환형으로 학습하거나, 블록 대각 어텐션 마스크를 사용해 오버헤드를 줄이거나, KV 캐싱을 활용할 수 있다.
또한 작업공간 모델은 어떤 시각 정보가 중요한지에 대해 VLM으로부터 감독을 받지만, 이미지의 어느 부분이 제어에 관련되는지를 완전히 정확하게 파악한다고 보기는 어렵다. 강화학습은 과제 보상에 기반해 이를 정렬할 수 있는 방법을 제공한다.
마지막으로 언어 요약과 VLA를 활용하는 계층적 방법과는 비교하지 않았다. 이러한 방법들을 살펴보고, 다중 과제 환경에서 작업공간을 범용 정책과 결합하는 방법을 연구하는 것도 흥미로울 것이다.
감사의 글
관련 의견을 나눠 준 Younghyo Park, Ryan Bahlous-Boldi, Antonia Bronars와 유익한 토론을 함께한 Improbable AI Lab 구성원들에게 감사드린다.
이 연구는 Korea Institute for Advancement of Technology (KIAT)가 관리하는 대한민국 산업통상자원부(MOTIE)의 “Global Industrial Technology Cooperation Center program” 지원을 받아 수행되었다. 과제 번호: P0028435.
본 연구는 National Science Foundation Graduate Research Fellowship의 지원을 받았으며, 과제 번호는 2141064이다.
저자 기여
- Nitish Dashora: 프로젝트 방향, 아키텍처, 실험 설계, 하드웨어 실험, 논문 작성 및 코드 개발을 공동으로 수행했다.
- Douglas Chen: 논문 작성, 실험 설계 및 코드 개발에 기여했다.
- Idan Shenfeld: 프로젝트 방향을 공동으로 수립하고, 논문 작성과 실험 설계에 기여했으며, 개념적 지침을 제공했다.
- John Marangola: 하드웨어 실험에 기여했다.
- Pulkit Agrawal: 논문 작성과 고수준 자문에 기여했다.
- Max Simchowitz: 프로젝트 방향, 아키텍처, 실험 설계를 공동으로 수립하고 논문 작성에 크게 기여했다.
이벤트 검출
이 절에서는 VLM 라벨링 파이프라인의 세부 사항을 설명한다.
작업공간 토큰은 과거와 현재에 대한 정보를 모두 담으며, 시간적·공간적 정보를 함께 압축한다. 따라서 특정 시점에는 saliency set에 포함된 패치를 이벤트 패치와 일시적 패치라는 두 유형으로 구분한다.
이벤트 패치는 특정 이벤트에 특화된 패치로, 해당 이벤트가 발생한 시점에 선택되어 saliency set에 계속 남는다.
일시적 패치는 현재 시점에만 관련되며, 현재 시점 동안만 saliency set에 존재한다.
시뮬레이션 세부 사항
ManiSkill3는 100 Hz로 실행되도록 구성했다. 시뮬레이션에서 수집하는 모든 데이터는 특권 상태 정보를 사용하는 단순 선형 동작 플래너로 스크립트화했다.
정책 실행과 데이터 수집은 20 Hz로 수행했으며, 말단 효과기 자세와 그리퍼 상태를 포함하는 7차원 행동 공간에 PD 제어를 적용했다.
DrawerRecall
이 과제에서 로봇은 보조 로봇이 서랍을 열고, 큐브를 집어 서랍 안에 넣은 뒤 닫는 모습을 관찰한다.
서랍이 닫힌 뒤에는 주 로봇이 어느 서랍에 큐브가 들어 있는지 알 수 없도록 구성했다. 이후 로봇은 올바른 서랍을 열어야 한다.
훈련에는 272개의 시연을 사용했다.
BalanceBar
이 과제에서는 긴 막대를 수평으로 들어 올려야 한다. 예를 들어 막대 중간 지점을 기준으로 기울기가 0도가 되도록 해야 한다. 하지만 막대의 무게중심(CoM)은 세 가지 중 하나다.
시연에서는 먼저 중간 지점을 잡고 들어 올려 기울기를 드러낸다. 이후 올바른 무게중심을 잡고 막대를 들어 올려 균형을 맞춘다.
학습자의 성공 여부는 두 번째 시도에서 막대를 균형 있게 집었는지로 판정한다.
훈련에는 272개의 시연을 사용했다.
자주 묻는 질문
작업공간 모델은 어떤 능력을 평가하는가? 부분 관측 환경에서의 개수 세기, 공간 정보 회상, 과거 경험을 활용한 문맥 내 적응 능력을 평가한다.
VLM 추론을 분산 상환하는 목적은 무엇인가? 느리고 계산량이 큰 VLM 기반 기록 요약을 배포 중 효율적으로 질의할 수 있는 경량 인코더로 변환하는 것이다.
DrawerRecall은 무엇인가? DrawerRecall은 다른 로봇이 큐브를 넣어 둔 서랍을 기록을 활용해 식별하고 여는 능력을 평가한다.
작업공간 모델의 한계는 무엇인가? 완전 자기회귀형 트랜스포머 인코더를 사용하므로 계산량이 시퀀스 길이에 대해 이차적으로 증가하며, 매우 긴 시퀀스에서는 처리 부담이 커질 수 있다.