단일 물리 속성이 변하는 환경
Push-T 환경은 원형 푸셔(에이전트)와 T자형 블록으로 구성됩니다. 세계 모델은 푸셔의 동작을 조건으로 미래 장면의 잠재 표현과 푸셔의 고유수용감각을 함께 예측합니다. 계획에서 각 목표는 이미지와 목표 에이전트 상태로 정의됩니다. 블록의 질량 중심(CoM)은 무작위로 샘플링됩니다. 질량 중심이 달라져도 블록의 외형은 바뀌지 않지만, 밀었을 때 회전하고 미끄러지는 방식은 달라지므로 동일한 밀기 동작에도 상태가 크게 달라집니다.
여러 물리 속성이 변하는 환경
여러 물리 속성이 변하는 FetchSlide
다음으로, 여러 물리 속성이 동시에 전이 동역학을 좌우하는 환경에서 PhysiCal이 세계 모델을 보정할 수 있는지 살펴봅니다. 이를 위해 FetchSlide에서 퍽의 질량, 탁자 표면의 마찰력, 공기 저항이라는 세 가지 물리 매개변수를 동시에 변화시킵니다. 이 환경에서는 로봇 팔이 탁자 위에서 납작한 퍽을 쳐서 움직이며, 이 세 속성이 함께 퍽이 맞은 뒤 감속하는 정도와 미끄러지는 거리를 결정합니다. 동작 공간은 엔드 이펙터의 상대 위치이며, 이는 이후 타격 속도와 각도를 정합니다. 계획에서는 목표 이미지에 지정된 위치에 퍽이 멈추도록 타격 동작을 최적화합니다. 문맥 시퀀스는 무작위 동작을 통해 수집합니다.
정량적 결과는 표 2에 제시합니다. 물리 요인 간의 결합으로 문제가 더 복잡해졌음에도 +PhysiCal은 해석적 물리 방정식 없이 예측을 효과적으로 보정합니다.
논의
결론
세계 모델은 일반적인 시각적 충실도를 넘어 개별 장면의 물리에 기반한 예측으로 나아가야 한다고 생각합니다. 이 목표를 향한 한 걸음으로, 새로운 테스트 장면의 실제 물리 동역학에 동작 조건부 세계 모델을 맞추는 문맥 내 보정 프레임워크를 소개합니다. 테스트 장면에서 수집한 상호작용 시퀀스를 모델에 입력해 이를 구현하며, 미세 조정이나 해석적 물리 사전정보 없이 제로샷 보정을 수행합니다. 다양한 환경에서의 평가 결과, 제안하는 접근법은 예측 정확도와 후속 시각 계획 성능을 크게 향상합니다.
본 연구는 미국 국립과학재단 CAREER Award No. 2544116의 일부 지원을 받았습니다.
PhysiCalWorld 구현
실험은 Red Hat Enterprise Linux 8.10에서 Python 3.10으로 구현했습니다. NVIDIA L40S GPU와 NVIDIA RTX PRO 6000 Blackwell GPU를 번갈아 사용해 모델을 학습하고 평가합니다.
FetchSlide의 물리
개괄적으로, 이러한 물리 속성 간의 상호작용은 다음과 같이 설명할 수 있습니다. 같은 타격 동작이라면 퍽의 질량이 낮을수록 타격 후 속도가 커집니다. 이후 퍽의 감속은 표면 마찰력과 공기 저항에 함께 좌우되며, 마찰력이 강하고 유체 밀도가 높을수록 감속률이 커집니다. 또한 퍽의 모양은 바꾸지 않으므로, 공기 밀도가 같을 때 질량이 큰 퍽은 가벼운 퍽보다 더 천천히 감속합니다.
성공 임계값 선정 및 민감도
Reacher와 FetchSlide의 계획 성능을 더 잘 이해하기 위해 성공률과 오차 임계값의 관계를 나타내는 곡선도 제시합니다.
Reacher와 FetchSlide 환경 모두에서 DINO-WM과 DINO-WM + ours를 비교하면 알 수 있듯이, 제안하는 방법은 기준 세계 모델(DINO-WM 및 LeWM)보다 성능을 높입니다. FetchSlide에서는 특권 정보 미사용 기준 모델보다 성능이 크게 향상됩니다. Reacher 환경에서는 성능 향상 폭이 작으며, 이는 두 개의 회전 관절만 있는 제약적인 상태 공간 때문일 가능성이 큽니다.
크롭하지 않은 BeerPong 시각화
더 명확하게 볼 수 있도록 예측 프레임을 크롭해 제시했습니다. 이 절에서는 모델 예측의 크롭하지 않은 버전을 제공합니다.
추가 계획 결과
DINO-WM 및 LeWM 기반 모델의 추가 계획 비교 결과를 제시합니다. 각 예시에서는 CEM을 사용해 목표 관측에 도달하는 동작 시퀀스를 최적화하도록 세계 모델을 사용합니다. 계획된 동작은 시뮬레이션 환경에서 실행합니다. 세계 모델이 예측한 관측(윗줄)과 시뮬레이션 환경에서 실제로 실행한 결과(아랫줄)를 모두 제시합니다. 각 계획 예시 뒤에는 해당 상호작용 클립이 이어집니다.
자주 묻는 질문
PhysiCal은 어떤 기능을 하나요? 해당 장면에서 수집한 상호작용 시퀀스를 사용해 동작 조건부 세계 모델을 새로운 테스트 장면의 물리 동역학에 맞게 보정합니다.
PhysiCal을 사용하려면 미세 조정이나 해석적 물리 사전정보가 필요한가요? 아니요. 이 프레임워크는 미세 조정이나 해석적 물리 사전정보 없이 제로샷 보정을 지원합니다.
FetchSlide에서 달라지는 물리 속성은 무엇인가요? 실험에서는 퍽의 질량, 탁자 표면의 마찰력, 공기 저항을 변화시킵니다.
퍽의 질량은 FetchSlide의 움직임에 어떤 영향을 주나요? 같은 타격 동작이라면 질량이 작은 퍽은 타격 후 속도가 더 빠릅니다. 공기 밀도가 같을 때는 질량이 큰 퍽이 더 천천히 감속합니다.