메모리에 의존하는 작업에서는 모든 제어 단계마다 장기간의 시각 이력을 실행 모델에 직접 입력할 필요가 없다. 시각 이력은 주로 다음 세그먼트 수준의 계획과 그에 따른 시각적 변화 양상을 결정하는 데 필요하며, 실행은 메모리에 기반한 계획을 따라 수행할 수 있다. 이러한 관찰에 착안해 제안된 MaP-WAM은 장기 메모리를 멀티모달 에피소드 컨텍스트로 유지하고, 이를 계획 단계의 근거로 활용해 간결한 계획을 생성한다. MaP-WAM은 메모리 기반 계획과 계획 조건부 실행을 분리함으로써 실행기의 컨텍스트 길이를 고정하고 실행 시 지연을 줄이는 동시에, 장기 시각 메모리에 대한 세밀한 그라운딩을 유지한다.
MaP-WAM은 RMBench에서 83.3%, 실제 로봇 작업에서 78.0%의 성공률을 달성했으며, 작업 이력이 길어져도 실행기 추론 지연 시간을 거의 일정하게 유지한다.
기여점
계획으로서의 메모리 프레임워크
장기 에피소드 증거를 메모리 기반 계획으로 변환하는 MaP-WAM을 제안한다. 이를 통해 시각적 그라운딩을 유지하면서도 고정된 컨텍스트로 실행할 수 있다.
메모리 기반 계획
장기 시각 컨텍스트와 예측된 세그먼트 수준의 언어 계획을 시각적 계획으로 변환하는 인과적 세계 모델을 도입한다. 이 시각적 계획은 세밀한 실행 지침으로 활용된다.
진행 상황 인지 실행
시각적 동역학, 액션 청크, 실행 진행 상황을 공동으로 모델링하는 WAP을 제안한다. 또한 MoT 기반 진행 상황 예측과 계획-관측 정렬을 결합해, 실행 시간이 달라지는 상황과 적응형 세그먼트 전환을 지원한다.
결론
현재 관측만으로는 충분하지 않은 정보가 필요한 메모리 의존적 로봇 조작 작업을 위해 MaP-WAM을 제시했다. 실행기에 밀도 높은 시각 이력을 반복적으로 입력하는 대신, MaP-WAM은 구조화된 에피소드 컨텍스트를 메모리 기반 계획으로 변환한다. 이를 통해 작업의 의미와 예상되는 시각적 변화를 연결한다.
메모리 기반 계획과 진행 상황 인지 실행을 결합한 MaP-WAM은 계획, 실행, 컨텍스트 업데이트 사이의 순환 구조를 완성한다. 동시에 장기적이고 세밀한 시각 증거에 계획 단계에서 접근할 수 있으며, 실행기 컨텍스트를 고정한 KV 캐시 기반 추론을 통해 효율적인 실행이 가능하다.
시뮬레이션과 실제 로봇을 대상으로 한 실험에서 MaP-WAM은 장기 메모리 의존적 작업의 성능을 향상했으며, 작업 이력이 길어져도 청크당 실행기 지연 시간을 거의 일정하게 유지했다.
한계
현재 MaP-WAM은 메모리와 진행 상황을 구성하기 위해 기존 벤치마크에서 제공하는 세그먼트 구조에 의존한다. 자동 세그먼트 탐색을 통해 세그먼트가 구분되지 않은 시연에도 계획을 확장하는 것은 자연스러운 다음 단계다.
또한 계획-관측 정렬 메커니즘은 가볍고 학습이 필요 없는 매칭 지표를 사용한다. 학습된 유사도 측정 방식을 도입하면 시각적으로 복잡한 장면에서 캘리브레이션의 견고성을 더욱 높일 수 있다.
자주 묻는 질문
MaP-WAM은 어떤 작업을 위해 설계되었나요? MaP-WAM은 현재 관측만으로는 알 수 없는 정보가 필요한 메모리 의존적 로봇 조작 작업을 위해 설계되었다.
MaP-WAM은 장기 시각 이력을 어떻게 활용하나요? 장기 멀티모달 에피소드 컨텍스트를 계획 단계의 근거로 활용해 간결한 메모리 기반 계획을 생성한다.
진행 상황 인지 실행은 어떤 역할을 하나요? 진행 상황 인지 실행은 시각적 동역학, 액션 청크, 실행 진행 상황을 모델링해 실행 시간의 가변성과 적응형 세그먼트 전환을 지원한다.
MaP-WAM은 어느 정도의 성공률을 달성하나요? RMBench에서 83.3%, 실제 로봇 작업에서 78.0%의 성공률을 달성한다.