T2-z는 환경 잠재 변수 조건화를 통해 로봇 월드 모델을 확장합니다. 행동 조건부 동역학을 학습하는 월드 모델 최적화와 숨겨진 환경 요인을 포착하는 환경 잠재 변수 최적화를 번갈아 수행합니다. 새 환경에서는 월드 모델을 고정하고 잠재 변수만 최적화합니다. 시뮬레이션 7개와 실제 환경 4개 작업에서 T2-z는 비디오 예측과 행동 선택 성능 모두에서 기준 방법을 앞섭니다.
방법
T2-z는 월드 모델 최적화와 환경 잠재 변수 최적화를 번갈아 수행합니다. 월드 모델은 행동 조건부 동역학을 학습하고, 잠재 변수는 숨겨진 환경 요인을 포착합니다. 새 환경에 적응할 때는 월드 모델을 고정하고 잠재 변수만 최적화합니다.
시뮬레이터 및 실제 환경 설정
맞춤형 작업에는 Franka Panda 로봇 팔을 갖춘 LIBERO 기반 시뮬레이터를 사용합니다. 시뮬레이션 RGB 영상은 20 frames per second로 기록하며, [제공된 텍스트에 이미지 해상도가 명시되어 있지 않음]. 행동 표현은 14개 채널로 구성됩니다.
표준 월드 모델 기준선
표준 월드 모델 기준선은 작업 궤적을 모아 BWM으로 초기화한 DiT와 행동 인코더를 미세 조정합니다. 환경 잠재 변수나 테스트 시점 적응은 사용하지 않습니다.
기준선은 AdamW를 사용하며, 모델 학습률은 [제공된 텍스트에 값이 명시되어 있지 않음], 가중치 감쇠는 [제공된 텍스트에 값이 명시되어 있지 않음], 워밍업 업데이트는 100회, 그래디언트 클리핑은 [제공된 텍스트에 값이 명시되어 있지 않음]이고 bfloat16을 사용합니다.
계산 효율성
계산 효율성은 H200 GPU 한 대의 대표적인 Friction 설정에서 프로파일링합니다. 각 방법을 옵티마이저 스텝 두 번으로 워밍업한 다음, 이어지는 10개 스텝의 시간을 측정합니다.
보고하는 측정값은 데이터셋 읽기를 제외한 업데이트당 계산 전용 옵티마이저 시간의 중앙값과 최대 GPU 할당 메모리입니다. 전체 학습 실행 시간은 아닙니다. 측정된 각 업데이트에는 손실 계산에 사용되는 비디오 청크 6개가 포함되며, 방법별 조건화 계산도 측정에 포함됩니다.
T2-z의 월드 모델 업데이트와 잠재 변수 업데이트는 별도 단계이므로 각각 따로 보고합니다. LoRA TTA는 표준 월드 모델에서 시작하며, 별도의 월드 모델 학습 행은 없습니다.
결론
T2-z는 환경 잠재 변수 조건화를 통해 로봇 월드 모델을 확장합니다. 행동 조건부 동역학을 학습하는 월드 모델 최적화와 숨겨진 환경 요인을 포착하는 환경 잠재 변수 최적화를 번갈아 수행합니다. 새 환경에서는 월드 모델을 고정하고 잠재 변수만 최적화합니다. 시뮬레이션 7개와 실제 환경 4개 작업에서 T2-z는 비디오 예측과 행동 선택 성능 모두에서 기준 방법을 앞섭니다.
자주 묻는 질문
새 환경에 적응할 때 T2-z는 무엇을 최적화하나요? 월드 모델은 고정한 채 환경 잠재 변수를 최적화합니다.
월드 모델 최적화는 무엇을 학습하나요? 행동 조건부 동역학을 학습합니다.
환경 잠재 변수는 무엇을 포착하나요? 숨겨진 환경 요인을 포착합니다.
시뮬레이션과 실제 환경을 통틀어 몇 개의 작업을 보고하나요? 논문은 시뮬레이션 작업 7개와 실제 환경 작업 4개를 보고합니다.