NavWAM은 시각적 예측을 폐루프 정책으로 전환하는 결합된 세계-행동 예측 모델을 학습합니다. 미래 관찰, 목표 진행 값, 실행 가능한 행동 청크를 공유 잠재 시퀀스로 표현함으로써, NavWAM은 미래 인식, 진행 추정, 행동 생성을 하나의 결합된 예측 문제로 학습합니다.
시각적 예측과 행동 선택
부분 관측 가능성 하에서 성공적인 내비게이션에는 두 가지 상호 연결된 능력이 필요합니다: 이동 후 시야가 어떻게 변할지 예측하는 능력과 로봇을 목표에 더 가깝게 만드는 행동을 선택하는 능력입니다. 직접 정책은 이를 단일 행동 예측 문제로 학습하여 테스트 시 효율적이지만, 모델이 행동 실행 후 무엇을 볼지 명시적으로 예측하도록 훈련되지는 않습니다.
NWM은 후보 행동에 조건화된 미래 관찰을 명시적으로 예측하도록 하지만, 여전히 어떤 후보 행동을 실행할지 선택하기 위한 별도의 행동 선택 절차가 필요합니다. 이는 직접 행동 예측과 명시적 미래 예측 사이에 간극을 만듭니다.
내비게이션 월드 모델에서 NavWAM으로
NWM 접근법은 CEM 기반 계획을 사용하여 후보 행동 시퀀스를 샘플링하고, 미래 관찰을 예측하며, 최고 점수 궤적을 선택함으로써 미래 자아 중심 이미지 예측이 내비게이션을 지원할 수 있음을 보여줍니다. 그러나 이 파이프라인은 여전히 미래 예측과 행동 선택을 별개의 단계로 처리합니다: 모델은 가능한 미래를 예측하고, 외부 절차가 어떤 미래가 목표 진행을 나타내는지와 어떤 행동을 실행할지 결정합니다. 이러한 분리는 테스트 시간 계산을 증가시키고 폐루프 행동이 후보 샘플링, 점수 매기기, 최적화에 의존하게 만듭니다.
NavWAM은 결합된 세계-행동 예측을 학습함으로써 이러한 분리를 해결합니다.
방법
NavWAM은 사전 훈련된 비디오 세계 모델을 사용하여 폐루프 내비게이션 정책을 매개변수화합니다. NavWAM은 모델을 외부 계획 행동에 대한 미래 뷰 예측에만 사용하지 않고, 내비게이션 제어에 필요한 변수를 공유 잠재 캔버스로 표현합니다. 현재 관찰, 이미지 목표, 로봇 상태, 행동 청크, 미래 자아 중심 관찰, 목표 진행 값은 동일한 확산-트랜스포머 시퀀스 내에서 서로 다른 잠재 프레임에 할당됩니다. 이는 목표-조건부 내비게이션을 미래 인식, 진행 추정, 실행 가능한 움직임에 대한 결합된 잡음 제거 문제로 전환합니다.
세계-행동 잠재 캔버스
이미지 프레임은 인과 VAE를 통해 표준 비디오 잠재 변수로 인코딩됩니다. 상태, 행동 청크, 스칼라 값을 포함한 비이미지 변수는 정규화되어 잠재 공간 그리드에 브로드캐스트됩니다. 이들의 예측은 해당 프레임의 잡음 제거된 항목을 평균하여 복구됩니다. 이는 사전 훈련된 비디오-트랜스포머 인터페이스를 유지하면서도 하나의 모델이 시각적 및 비시각적 내비게이션 변수를 공동으로 예측할 수 있게 합니다. 동일한 캔버스는 원칙적으로 목표 프레임이나 텍스트 조건화 인터페이스를 통해 언어 또는 객체 지정 목표로 확장될 수 있지만, 본 연구에서는 이미지-목표 내비게이션에 초점을 맞춥니다.
훈련 목표
잡음 제거 손실은 잠재 캔버스의 생성된 프레임에 적용됩니다. 손실은 확산 가중치 항을 포함하며 관찰된 프레임 마스크, 조건화 임베딩, 관찰된 잠재 프레임에 조건화됩니다. 행동 프레임의 가중치를 다른 예측 프레임보다 높여 저차원 행동 신호가 고차원 이미지 재구성 손실에 의해 지배되지 않도록 합니다.
NavWAM은 별도의 행동 또는 가치 헤드를 도입하지 않습니다. 대신, 행동, 상태, 스칼라 값은 해당 잡음 제거된 잠재 프레임에서 디코딩됩니다. 따라서 행동 생성, 미래 상태 예측, 미래 뷰 예측, 가치 추정은 행동 전용 정책에 추가적인 보조 손실로 추가되는 것이 아니라 동일한 세계-행동 잡음 제거 목표의 일부로 훈련됩니다. 내비게이션을 위해 가치 프레임은 일반적인 보상-대-이동이 아닌 목표 진행을 나타내도록 훈련됩니다. 이는 모델이 예측된 미래 상태가 로봇을 지정된 목표에 더 가깝게 이동시키는지 추정하도록 장려합니다.
추론
NavWAM은 또한 선택적 가치-유도 최고-N 샘플링을 지원합니다. 이 모드에서 모델은 N개의 후보 행동 청크를 그리고, 보조 세계 모델 및 가치 모드를 사용하여 예측된 미래와 목표 진행 값을 평가하며, 가장 높은 예측 값을 가진 청크를 실행합니다. 이 선택적 모드는 보고된 주요 결과에서 사용되지 않습니다. 보고된 모든 주요 결과는 CEM 방식의 행동 검색 없이 기본 정책 모드를 사용합니다.
로봇 플랫폼
베이스는 Direct Drive Tech Diablo에 3D 프린팅 프레임을 장착한 것으로, Intel RealSense D455 RGB-D 카메라, Livox Mid-360 LiDAR, NVIDIA Jetson AGX Orin, Orin 및 LiDAR 전용 배터리를 포함합니다. 플랫폼은 ROS 2를 통해 표준 cmd_vel 명령으로 제어되며, 이는 배포 중 NavWAM이 예측한 로컬 프레임 행동 청크를 실행하는 데 사용됩니다.
훈련 커리큘럼
NavWAM은 세 단계로 훈련됩니다. 각 단계는 이전 단계의 가중치로 초기화되며 주요 논문 전체에서 사용되는 단일 체크포인트를 작성합니다. 훈련은 hm3d 시뮬레이터 궤적의 성공-전용 분할을 사용하며, 롤아웃 데모는 전문가 궤적과 함께 샘플링됩니다. hm3d 단계는 긴 청크를 사용하여 시뮬레이터에서 장기 시각적 예측에 모델을 노출시킵니다.
훈련 하이퍼파라미터
확산 목표는 미래 이미지 프레임에 비해 행동 프레임의 가중치를 승수만큼 높입니다. 모델은 세 가지 조건화 모드로 훈련됩니다: 정책 모드는 관찰된 프레임에 조건화되고 행동, 미래 상태, 미래 이미지, 가치를 예측합니다; 세계 모델 모드는 또한 행동 프레임에 조건화됩니다; 가치 모드는 가치 스칼라 자체를 제외한 모든 프레임에 조건화됩니다.
결론
NavWAM은 미래 인식, 진행 추정, 행동 생성을 하나의 결합된 예측 문제로 학습합니다. 평가에서 이 결합된 공식은 기본 정책 모드에서 CEM 방식의 행동 검색 없이 계획 기반 세계 모델 기준선보다 내비게이션 성능을 향상시키고, 더 큰 직접 내비게이션 정책과 경쟁력을 유지하며, 폐루프 실제 로봇 이미지-목표 내비게이션으로 전이됩니다. 이러한 결과는 미래 예측이 별도의 계획 모듈로 취급되기보다는 폐루프 행동을 결정하는 행동 및 가치 목표와 함께 학습될 때 로봇 내비게이션에 가장 유용함을 시사합니다.
평가는 실내 환경에서의 이미지-목표 내비게이션에 초점을 맞추며, 언어 또는 객체 지정 목표에 대한 광범위한 평가는 향후 과제로 남습니다. 실제 환경 연구는 규모가 제한적이며, 4개 환경에서 24개의 폐루프 에피소드를 다룹니다.
자주 묻는 질문
전통적인 내비게이션 월드 모델과 NavWAM의 차이점은 무엇인가요? NavWAM은 미래 관찰 예측, 행동 생성, 가치 추정을 단일 확산 모델로 결합한 세계-행동 예측을 학습합니다. 미래 예측과 행동 선택을 별개의 단계로 처리하지 않습니다.
잠재 캔버스는 어떻게 작동하나요? 로봇 상태, 행동 청크, 목표 진행 값과 같은 비이미지 변수는 정규화되어 잠재 공간 그리드에 브로드캐스트되며, 해당 잡음 제거된 잠재 프레임에서 디코딩되어 사전 훈련된 비디오-트랜스포머 인터페이스를 유지합니다.
NavWAM은 테스트 시 CEM 방식의 행동 검색이 필요한가요? 아니요, 기본 정책 모드는 CEM 방식의 행동 검색 없이 단일 잡음 제거 패스를 사용합니다. 선택적 가치-유도 최고-N 샘플링 모드도 사용 가능합니다.
NavWAM의 주요 한계는 무엇인가요? 평가는 실내 환경에서의 이미지-목표 내비게이션에 초점을 맞추며, 실제 환경 연구는 하나의 플랫폼에서 24개의 에피소드로 제한되고, 추론 비용은 확산 체인 길이에 의해 지배됩니다.