자율주행을 위한 월드 모델
점유 기반 월드 모델은 단순히 영상을 생성하는 데 그치지 않고, 복셀화된 3차원 공간에서 장면이 어떻게 변화할지 예측한다. OccWorld는 3D 점유 정보를 토큰화한 뒤 미래 점유 상태와 자차의 움직임을 자기회귀적으로 예측하며, Drive-OccWorld는 여기에 행동 조건과 점유 기반 계획 기능을 확장해 적용한다.
이러한 접근법은 복셀화된 정답 점유 상태를 지도 신호로 사용하므로, 예측 공간을 구성하려면 점유 주석이 필요하다. 반면 GeoWAM은 정답 점유 주석 없이도 학습할 수 있다. 기성 기하 파운데이션 모델에서 얻은 조밀한 메트릭 포인트 맵을 정답으로 활용해 미래 기하를 학습하며, 학습에 필요한 것은 RGB 이미지뿐이다.
시각 기하 모델
주행 장면을 다루려면 장거리 메트릭 정확도, 시간에 따른 움직임, 서라운드 뷰 관측, 카메라 구성의 큰 다양성 등 추가적인 요구사항을 충족해야 한다. DVGT는 여러 시점에서 여러 프레임에 걸쳐 촬영한 이미지를 입력으로 받아, 인자화된 시공간 어텐션을 사용해 메트릭 포인트 맵과 자차 포즈를 예측하는 자기중심적 방식을 통해 이러한 요구를 해결한다. DVGT-2는 이 기하 표현을 자율주행 행동 모델링으로 확장한다.
그러나 기존 시각 기하 모델은 주로 관측 이미지에 담긴 장면을 복원하는 데 초점을 맞춘다. GeoWAM은 미래 포인트 맵을 예측해 장면 동역학을 학습하고, 기하 표현과 궤적 계획을 연결함으로써 시각 기하 학습의 범위를 복원에서 예측으로 확장한다.
NAVSIM V2에서의 계획
표 2는 navtest 분할에서 GeoWAM을 인지 기반 플래너 및 최근 월드 액션 모델과 비교한다. GeoWAM은 EPDMS 90.2를 기록해 DVGT-2 초기화 성능보다 0.6점 향상되었으며, 표에 제시된 모델 가운데 가장 높은 종합 점수를 달성했다.
또한 DDC와 TLC에서 최고 성능과 동률을 이루었고, 그 밖의 안전성 및 진행도 구성 요소에서도 경쟁력 있는 결과를 보였다. 이러한 결과는 결정론적 궤적 디코더와 결합한 시각 기하 방식이 효과적임을 보여준다.
결론
본 연구에서는 자율주행을 위한 시각 기하 월드 액션 모델 GeoWAM을 제시했다. GeoWAM은 미래 영상을 생성해 장면의 변화를 모델링하는 대신, 과거의 다중 시점 관측을 바탕으로 특징 수준과 조밀한 포인트 맵 수준의 감독을 모두 활용해 미래 기하 특징을 예측하도록 학습한다.
기하 사전학습을 거친 뒤에는 역동역학과 유사한 방식으로, 예측된 기하 동역학에서 미래 자차 토큰을 추론하고 이를 기하 조건부 행동 헤드를 통해 자차 궤적으로 변환한다. 이 2단계 설계는 미래 영상을 합성하지 않고도 예측된 기하 지식을 계획으로 직접 전달한다.
관측과 행동 사이에 기하학적 변화를 배치함으로써 GeoWAM은 자율주행 월드 액션 모델링을 위한 공간적으로 정합된 방법을 제공한다.
자주 묻는 질문
GeoWAM이란 무엇인가요? GeoWAM은 자율주행을 위한 시각 기하 월드 액션 모델이다.
GeoWAM은 어떤 지도 신호를 사용하나요? 기하 파운데이션 모델에서 얻은 특징 수준 및 조밀한 포인트 맵 수준의 지도 신호를 사용하며, 학습에는 RGB 이미지만 필요하다.
GeoWAM은 기하 예측과 계획을 어떻게 연결하나요? 예측된 기하 동역학에서 미래 자차 토큰을 추론한 뒤, 이를 기하 조건부 행동 헤드를 통해 자차 궤적으로 변환한다.
NAVSIM V2 navtest 분할에서 GeoWAM의 성능은 어떤가요? EPDMS 90.2를 달성했으며, DVGT-2 초기화 성능보다 0.6점 향상되었다.