관찰된 이미지와 의도된 행동으로부터 미래 비디오 프레임을 예측하는 세계 모델은 현대 로봇 학습의 핵심 구성 요소입니다. 우리는 iMaC을 제안합니다. 이는 미래 행동을 두 가지 상호 보완적인 이미지 기반 제어 신호로 변환하는 체화된 세계 모델입니다: 순운동학 렌더링을 통해 미래 로봇 관절 구성을 시각화하는 움직임 이미지, 그리고 장면 수준 거리장 히트맵을 통해 로봇이 물체에 닿을지 여부와 위치를 인코딩하는 접촉 이미지. 이 행동 조건화 이미지는 비디오 확산 모델에 시각적 제어 신호로 주입되어 정확한 미래 프레임 생성을 안내합니다. 여덟 가지 실제 천 조작 작업에서 iMaC은 도메인 특화 행동 임베딩이나 저차원 행동-이미지 투영에 의존하지 않고 최첨단 비디오 예측 품질과 정책 평가 점수를 달성합니다.
실험 설정
기준 모델 및 평가 지표. iMaC을 학습된 행동 임베딩 또는 희소 행동-이미지 제어를 통해 미래 행동을 주입하는 행동 조건화 세계 모델 기준선과 비교합니다. 주요 비디오 예측 지표는 동일한 초기 관찰 및 행동 시퀀스 하에서 생성된 미래 비디오와 실제 미래 비디오 간의 차이를 계산합니다. 정책 평가를 위해 각 작업에 대해 세계 모델 점수와 실제 점수 간의 상관관계를 보고합니다. URDF/FK 렌더링 움직임 이미지, 이중 스트림 접촉 이미지, 접촉 이미지 구축에 사용되는 깊이 소스를 제거 실험합니다.
구현 세부 사항. iMaC을 두 단계로 학습합니다. 첫 번째 단계는 여덟 가지 작업 모두의 데이터로 공유 모델을 학습하고, 두 번째 단계는 각 개별 작업에 대해 작업별 모델을 미세 조정합니다. 따라서 최종 평가는 작업당 하나의 세계 모델을 사용합니다. 접촉 이미지는 포인트 클라우드 구축에 사용되는 예측 깊이의 품질에 의존하기 때문에, 첫 번째 단계는 움직임 이미지 제어만 사용하고 접촉 이미지 제어는 모델이 더 선명한 RGB-D 예측을 생성한 후 두 번째 단계 미세 조정 중에 도입됩니다. 학습 중 롤아웃도 워밍업됩니다: 처음 40 에폭 동안은 청크가 깨끗한 참조 관찰을 사용한 후 한 단계 생성된 참조를 활성화합니다.
소거 연구
움직임 및 접촉 이미지. 처음 두 소거 열은 두 가지 행동 유도 제어를 분리합니다. 접촉 이미지가 없으면 세계 모델은 행동 따르기를 위한 접촉 인식 안내가 부족합니다: 그리퍼가 천을 잡지 못하지만, 이후 프레임은 여전히 상호작용 같은 천 움직임을 생성합니다. 움직임 이미지가 없으면 모델은 미래 로봇 구성에 대한 직접적인 안내가 부족합니다: 그리퍼가 반복적으로 움직임을 시도하지만 정확한 잡기를 수행할 수 없습니다.
접촉 이미지를 위한 깊이 소스. 움직임 및 접촉 제어를 유지하지만 접촉 이미지 구축에 사용되는 깊이 획득 방식을 비교합니다. DA3 깊이를 사용하면 두 제어가 모두 존재하므로 행동 따르기가 부분적으로 개선되지만, 접촉 기하학이 iMaC의 RGB-D 세계 모델 상태보다 일관성이 떨어집니다: 실제와 비교할 때 그리퍼가 여전히 천 모서리를 놓칩니다.
한계점
iMaC은 깊이 예측을 학습하고 포인트 클라우드 기반 접촉 이미지를 구축하기 위해 정확한 3D 정보에 의존합니다. 현재 시스템에서 깊이 감독은 다중 시점 RGB 관찰과 카메라 포즈로부터 Depth Anything 3 (DA3)에 의해 추정되며, 이는 조작 장면에서 센티미터 수준의 오차를 유발할 수 있습니다. 이중 스트림 접촉 이미지는 거리장에 대한 히트맵이기 때문에 여전히 유용합니다. 모델은 모든 픽셀에서 정확한 미터법 접촉보다는 대략적인 접근 및 분리 경향을 활용할 수 있습니다. 더 높은 품질의 깊이 센서나 조작에 적응된 깊이 모델은 접촉 타이밍, 충돌 위치 파악, 장기 롤아웃 신뢰성을 더욱 개선할 것입니다.
자주 묻는 질문
iMaC은 다른 행동 조건화 세계 모델과 무엇이 다른가요? iMaC은 학습된 행동 임베딩이나 희소 행동-이미지 투영에 의존하지 않고 미래 행동을 시각적 제어 신호(움직임 및 접촉 이미지)로 변환하여 더 정확하고 해석 가능한 행동 따르기를 가능하게 합니다.
iMaC은 물체와의 정확한 접촉이 중요한 작업을 어떻게 처리하나요? 장면 수준 거리장 히트맵에서 접근 및 분리 접촉 경향을 인코딩하는 이중 스트림 접촉 이미지를 구성하여 모든 픽셀에서 정확한 미터법 접촉 없이도 정확한 잡기 상호작용을 생성할 수 있도록 합니다.
iMaC은 깊이 의존적 접촉 이미지를 위해 어떤 학습 전략을 사용하나요? 모델은 두 단계로 학습됩니다: 먼저 움직임 이미지만 사용하고, 모델이 더 선명한 RGB-D 예측을 생성한 후 미세 조정 중에 접촉 이미지 제어를 도입하여 초기 깊이 추정의 잡음을 피합니다.
실제 배포에서 iMaC이 현재 직면한 한계는 무엇인가요? 깊이 감독이 다중 시점 RGB 추정에 의존하여 조작 장면에서 센티미터 수준의 오차를 유발할 수 있으며, 이는 접촉 타이밍과 장기 롤아웃 신뢰성에 영향을 미칩니다.