기하 액션 모델(Geometric Action Model, GAM)은 단일 공유 GFM 내에서 기하와 행동 예측을 시간적 세계 모델링과 통합합니다. GFM의 얕은 층과 깊은 층 사이에 인과 트랜스포머를 삽입함으로써, GAM은 행동과 미래 기하를 자기회귀적으로 디코딩하여 전통적인 기반 모델 기반의 공간적 모호성을 해결합니다. 광범위한 시뮬레이션 및 실제 벤치마크에서 GAM은 뛰어난 정확도, 빠른 추론 속도, 환경 교란에 대한 강력한 분포 외 강건성을 달성합니다.
주요 결과
실제 환경 결과. 시뮬레이션에서 관찰된 성능 향상이 실제 물리적 실행으로 전이되는지 확인하기 위해, 실제 환경에서 GAM을 추가로 평가했습니다. GAM은 모든 기준선을 크게 능가합니다. 특히, 다른 기준선이 어려움을 겪는 분포 외 조건(카메라 교란 설정)에서도 모델은 강건함을 유지했습니다. 이러한 결과는 GAM이 실제 환경에 일반화되며, 정책 훈련 시 GFM을 철저히 활용함으로써 교란에도 강건함을 보여줍니다.
추론 속도 및 모델 크기
GAM은 모든 기준선 중 가장 낮은 지연 시간을 달성하며, 단일 순방향 패스에 6.9ms(약 145Hz)만 소요되고, 확산 기반 Cosmos Policy보다 최대 55배 빠릅니다. 모든 방법은 동일한 설정에서 벤치마킹되었습니다. 단일 패스 예측을 사용함으로써 GAM은 확산 정책의 다단계 노이즈 제거 과정을 피하여 낮은 지연 시간을 달성하면서도 단 1.4B 파라미터로 이전 정확도와 강건성을 유지합니다.
시점 및 장면 변동에 대한 강건성
GAM은 LIBERO-Plus 벤치마크의 모든 카메라 교란 수준에서 모든 기준선보다 일관되게 높은 성공률을 달성하며, 가장 강한 교란에서도 그 이점이 명확합니다.
시뮬레이션 실험 상세
OpenVLA 및 OpenVLA-OFT에서 확립한 LIBERO 평가 프로토콜을 채택했습니다. 구체적으로, 네 가지 표준 LIBERO 작업 모음(LIBERO-Spatial, LIBERO-Object, LIBERO-Goal, LIBERO-Long)에 대해 평가하며, 각 모음은 10개의 작업으로 구성됩니다. OpenVLA-OFT에 따라, 실패한 에피소드를 제거하고 유휴/무작동 프레임을 필터링한 LIBERO 데모로 훈련했습니다. 각 LIBERO 모음에 대해 별도의 정책을 미세 조정합니다.
작업 실행 성공률(SR, %)을 주요 평가 지표로 보고합니다. 원본 LIBERO 벤치마크에서는 각 작업을 50회 무작위 시행으로 평가하여 모음당 500회 롤아웃을 수행합니다. LIBERO-Plus의 경우 공식 평가 설정을 따르며 교란된 작업 인스턴스당 한 번의 롤아웃을 사용합니다. 모든 모델은 전역 배치 크기 160으로 최대 110k 훈련 단계까지 수렴할 때까지 훈련됩니다.
모델 크기 세분화
전체 모델 중 약 983.2M 파라미터가 훈련 가능합니다. 이러한 훈련 가능한 파라미터의 대부분은 ViT-Giant 백본의 후반 블록에서 비롯되며, 초기 기하 층과 DPT 깊이 헤드는 사전 훈련된 기하 구조를 보존하기 위해 고정됩니다. 인과 미래 예측기와 경량 행동 헤드는 완전히 훈련 가능하며 나머지 훈련 가능 파라미터를 차지합니다.
생성된 미래 깊이 맵
현재 RGB 관찰이 주어지면, GAM은 미래 깊이 맵을 예측하면서 동시에 예상되는 미래 기하와 공간적으로 정렬된 행동을 생성합니다. 시각화에서 입증된 바와 같이, GAM은 해당 행동 시퀀스와 함께 미래 깊이를 정확하게 예측합니다.
행동을 예측해야 할 시점은?
또한 행동 토큰을 나머지 깊은 기하 디코더 블록을 통과시키지 않고 인과 미래 예측기의 출력 행동 토큰에 직접 행동 손실을 적용하는 직접 행동 지도 변형을 평가했습니다. 행동 토큰을 깊은 기하 디코더를 통과시키면 추가 개선이 제공되며, 특히 LIBERO-Plus Object에서 카메라 교란 하에서 행동 표현을 정제하는 데 기여함을 시사합니다.
어텐션 분석
여러 중간 층이 작업 관련 영역에 주의를 기울이며, 조작 대상과 주변 접촉 영역에서 명확한 중요도를 보입니다. 이 질적 경향은 층 절제와 일치합니다: 중간 수준 표현은 객체 수준 구조를 유지하면서도 GFM 디코더에 행동 토큰 정제를 위한 충분한 깊이를 남깁니다.
결론 및 한계
기하 액션 모델은 단일 공유 GFM 내에서 기하와 행동 예측을 시간적 세계 모델링과 통합했습니다. GFM의 얕은 층과 깊은 층 사이에 인과 트랜스포머를 삽입함으로써, GAM은 행동과 미래 기하를 자기회귀적으로 디코딩하여 전통적인 기반 모델 기반의 공간적 모호성을 해결합니다. 또한 본 프레임워크에는 한계가 있습니다. 언어 추론 및 상식 능력은 고정된 텍스트 인코더에 의해 제한되며, 대규모 언어 모델이나 외부 추론 모듈을 통합하는 것이 자연스러운 다음 단계입니다.
자주 묻는 질문
GAM이 확산 기반 정책보다 빠른 추론을 어떻게 달성하나요? GAM은 단일 패스 예측을 사용하여 행동을 직접 출력하므로 확산 정책에 필요한 다단계 노이즈 제거 과정을 피합니다. 이를 통해 55배 빠른 추론 속도를 유지하면서도 정확도를 유지합니다.
GAM이 카메라 교란과 장면 변동에 강건한 이유는 무엇인가요? GAM은 기하 기반 모델의 구조화된 공간 표현을 활용하고, 카메라 교란 하에서 깊은 기하 디코더를 통해 행동 토큰을 정제합니다. 이를 통해 가장 강한 교란에서도 기준선보다 일관되게 우수한 성능을 발휘합니다.
정책 학습을 위해 GAM 파라미터 중 몇 퍼센트가 훈련 가능한가요? 총 1.4B 파라미터 중 약 983.2M 파라미터가 훈련 가능합니다. 초기 기하 층과 깊이 헤드는 사전 훈련된 기하 구조를 보존하기 위해 고정됩니다.
기하 액션 모델의 주요 한계는 무엇인가요? GAM의 언어 추론 및 상식 능력은 고정된 텍스트 인코더에 의해 제한됩니다. 대규모 언어 모델이나 외부 추론 모듈을 통합하면 이 한계를 해결할 수 있습니다.