분석의 동기
NAVSIM v1에서 먼저 동일한 고정 종료 지점과 단일 궤적 판독 방식을 사용해 비디오 노이즈 수준과 DiT 깊이에 대한 민감도, 그리고 서로 다른 깊이가 중복된 장면 집합을 해결하는지를 평가했다. 보고된 PDMS는 10개 시드에서 검증 성능이 가장 좋은 체크포인트를 종합한 값이다.
방법
분석 결과를 바탕으로 Adaptive-WAM은 여러 궤적 종료 지점을 노출하고 예측 품질에 따라 다음 경로를 선택한다.
문제 설정과 백본
조건부 백본의 앞부분은 궤적 계획에 사용되는 중간 비디오 특징을 생성한다.
이 연산은 비디오 특징을 한 번 순전파하는 과정이며, 각 궤적 헤드가 수행하는 5회의 DDIM 단계와는 별개다.
다중 종료 지점 궤적 디코딩
모든 헤드는 동일한 아키텍처, 최적화 예산, 배치 크기와 에포크 수를 사용한다. ReCogDrive와 동일하게 5회의 행동 디노이징 단계를 수행한다. 종료 헤드는 서로 독립적인 파라미터를 사용하며 특징이나 예측을 주고받지 않는다. 따라서 종료 지점 간 차이는 헤드 용량이 아니라 백본 깊이에서 비롯된 것으로 볼 수 있다.
각 단일 궤적 헤드는 ReCogDrive와 동일한 로그 궤적 확산 목적 함수와 5단계 학습 절차를 사용한다.
학습
모방 학습에서는 LoRA를 사용해 Wan 백본을 적응시키고, 궤적 투영층과 헤드는 전체 파라미터를 학습한다. 행위자 목적 함수는 다음과 같다.
행위자 목적 함수는 Wan 고유의 비디오 확산 목적 함수와 궤적 학습 목적 함수를 결합한다.
학습 중에는 Wan 고유의 비디오 확산 목적 함수를 사용한다. 비디오 감독과 궤적 디코딩은 공동 적응 과정에서 동일한 고정 비디오 노이즈 인덱스와 동일한 조건부 Wan 순전파를 사용하므로, 백본을 두 번 순전파할 필요가 없다. 비디오 예측은 배포 시 반드시 필요한 출력이 아니라 표현 학습을 위한 감독 신호로 유지된다.
스코어러의 신뢰성과 적응형 절충
스코어러는 12,146개 장면으로 구성된 오프라인 진단 풀에서 평가했다. 정확한 최고 점수 선택은 장면의 91.2%에서 성공했으며, 선택된 궤적이 실제 최고 점수에서 5% 이내이면 성공으로 보는 동점 고려 소프트 정확도는 94.4%에 달했다. 엄격한 순위 상관은 여기서 유용하지 않다. 장면의 95% 이상에서 모든 궤적 그룹이 완벽하거나 모두 0점이거나 최고점에서 동률을 이루기 때문이다. 대신 실제 결과에 영향을 주는 실패를 집중적으로 점검했다. 이용 가능한 거의 완벽한 궤적보다 50% 이상 나쁜 궤적을 선택한 장면은 51개(0.42%)뿐이었고, 격차가 20%를 넘은 장면은 69개(0.57%)였다.
현재의 임계값 스윕 결과, 보고된 운영 임계값에서 적응형 정책은 고정 B15보다 PDMS를 0.17 높이는 동시에 평균 종단 간 계획 지연 시간을 약 10% 줄였다. 지연 시간은 190ms에서 170ms로 감소했다. 장면의 94% 이상이 처음 3개 종료 지점 안에서 종료되며, 고정 완전 깊이 계획기의 평균 지연 시간은 320ms다. 반면 완화된 임계값 70을 사용하면 고정 B15보다 2.13점 낮아진다.
절제 실험과 효율성
Wan을 동결하는 것만으로는 충분하지 않다. Wan을 별도로 미세 조정한 뒤 특징을 캐시하면 손실의 일부만 회복되지만, 공동 LoRA 학습은 캐시된 특징을 사용한 단일 궤적 모델보다 5.67점 향상된 성능을 보인다. 전체 미세 조정은 LoRA보다 유의미한 이득을 제공하지 않는다. Wan 특징을 ViT-S, ViT-B, ViT-L로 대체하면 단일 궤적 PDMS가 각각 6.71점, 5.00점, 1.74점 하락한다.
NAVSIM에서 nuScenes로의 제로샷 프로토콜
NAVSIM으로 학습한 모델을 nuScenes에서 nuScenes 추가 미세 조정 없이 평가한다. 모델은 계속해서 전방 단일 시점만 사용하며, 로컬 좌표계에서 자차 궤적을 예측한다. 기존 월드 모델 기반 계획기와 마찬가지로 1초, 2초, 3초 시점의 변위 오차와 충돌률, 그리고 이들의 수평선 평균을 보고한다. 별도의 비교에서는 nuScenes로 학습한 방법과 NAVSIM-to-nuScenes 제로샷 방법을 구분한다.
데이터셋 구축과 시간 필터링
시각 t의 기준점에 대해 데이터셋은 현재 CAM_F0 프레임과 NAVSIM/OpenScene의 기본 주기인 2Hz에 맞춰 이어지는 전방 카메라 프레임 8개를 가져온다.
타임스탬프와 각 프레임의 상대 시간은 메타데이터에 저장하며 클립을 구성할 때 이를 확인한다. 필요한 미래 프레임 8개 중 하나라도 없으면 기준점을 제거한다. 이런 경우는 로그 끝부분에서 흔히 발생하며, 참조된 카메라 이미지를 불러올 수 없는 경우도 제거 대상이다. 정렬된 궤적 정답에는 동일한 4초 구간의 미래 포즈 8개가 포함된다.
103,288개의 navtrain 후보 토큰에서 시작해 시간 필터링을 적용한 결과, 완전한 9프레임 클립 82,555개가 남았고 현재 프레임과 이후 8개 프레임으로 구성된 필수 시퀀스를 제공하지 못하는 후보 20,733개가 제거됐다. NAVSIM은 이렇게 변환된 코퍼스에 공식 학습/검증 분할을 정의하지 않으므로, 내부 모델 선택용 분할을 공식 벤치마크 분할인 것처럼 제시하지 않고 코퍼스 수준의 개수만 보고한다.
메타데이터 레코드에는 시나리오 토큰, 로그 식별자, 기준 시각의 타임스탬프, 상대 카메라 경로, 카메라 내부 파라미터, 자차 속도와 가속도, 정렬된 미래 궤적, 프로그램으로 생성된 텍스트 설명이 저장된다. PyTorch 데이터셋은 로드 시 OpenScene 루트를 기준으로 이미지 경로를 해석한다.
프로그램으로 생성한 텍스트 설명
Wan의 텍스트 조건은 별도의 비전-언어 캡셔너가 아니라 구조화되고 검증 가능한 속성으로부터 생성된다. 최종 템플릿은 다음과 같다.
> Vehicle {motion}{turn_info} at {speed:.1f} m/s in urban environment.
동작 설명은 현재 속도를 사용한다. 0.5m/s 미만은 정지, 0.5~3m/s는 서행, 3~8m/s는 주행, 8m/s 초과는 고속으로 표현한다. 관측된 과거 횡방향 변위가 0.3m를 초과할 때만 회전 설명을 추가한다. 현재 지도 영역과 교통 흐름 메타데이터도 설명 생성기에 반영한다. 중요한 점은 모든 필드가 기준 시각 또는 그 이전의 지도 메타데이터와 관측값으로 계산된다는 것이다. 정답 미래 궤적이나 미래 이미지는 조회하지 않는다. 프롬프트는 시나리오 토큰과 함께 저장하며, 생성된 유한한 T5 텍스트 임베딩 집합을 학습과 추론에서 모두 캐시한다.
고정 비디오 노이즈 인덱스와 다중 종료 판독
Wan2.2-TI2V-5B는 30개의 비디오-DiT 블록으로 구성된다. 기본 비디오 샘플러는 40개의 노이즈 단계를 사용하지만, 실제 배포된 계획기는 고정 샘플링 인덱스에서 조건부 Wan 순전파를 한 번 수행한다. 잠재 표현의 미래 부분은 해당 인덱스의 스케줄러 노이즈로 초기화하고, 현재 이미지는 조건부 잠재 슬라이스를 제공한다. 계획 경로에서는 관측된 미래 잠재 표현, 무조건 분류기 없는 가이던스 분기, 비디오 VAE 디코딩을 사용하지 않는다.
선택된 DiT 블록 뒤에서 은닉 상태를 읽어온다. 각 판독에는 자체 투영층과 궤적 헤드가 있다. 6개 헤드는 독립적인 파라미터를 사용하며 특징이나 예측을 주고받지 않는다. 한편 각 헤드의 궤적 손실은 모방 학습 중 공유 Wan LoRA를 통해 역전파된다. 라우팅이 한 종료 지점에서 다음 종료 지점으로 이어질 때는 이미 계산한 DiT 접두부와 그 은닉 상태를 재사용한다.
행위자, 스코어러와 그래디언트 격리
모방 학습 중 Wan 백본은 LoRA로 적응시키고, 궤적 투영층과 헤드는 전체 파라미터를 학습한다. 행위자 손실은 다음과 같다.
행위자 손실은 비디오 확산의 고유 감독 신호와 궤적 목적 함수를 결합한다.
비디오 확산의 고유 목적 함수와 모든 궤적 헤드는 동일한 고정 비디오 노이즈 인덱스와 조건부 Wan 순전파를 사용하므로, 백본을 두 번째로 순전파하지 않아도 된다.
품질 스코어러에는 그래디언트가 차단된 궤적을 입력한다. 따라서 스코어러 학습이 제안 좌표를 통해 궤적 생성기를 다시 형성할 수 없다. 행위자와 스코어러의 업데이트는 동일한 학습 스트림에서 번갈아 수행한다.
모방 학습이 끝나면 Wan과 스코어러를 동결한다. 이후 ReCogDrive가 채택한 DiffGRPO 방식으로 6개 궤적 헤드만 추가로 개선한다. 하나의 완전한 5단계 궤적 디노이징 체인을 하나의 복합 행동으로 간주하고 NAVSIM 계획 점수를 보상으로 부여한다. 각 종료 지점은 동일한 학습 예산과 검증 성능 최적 체크포인트 규칙을 사용한다. 본 논문에 보고한 레이어 통계는 10회 실행 결과를 종합한 것이다.
고정 종료 지점 계획 점수
두 단계 모두에서 블록 15가 가장 강력한 고정 종료 지점이지만, 이후 블록도 장면에 따라 고유한 이점을 유지한다. 이러한 차이 때문에 항상 블록 15나 마지막 블록을 선택하는 대신 후보 품질에 따라 라우팅한다.
레이어별 궤적의 정성적 분석
예시는 6개 고정 종료 지점에서 나온 궤적을 진단 목적으로 겹쳐 표시한 것이며, 추가 모델 입력이 아니다. 레이어별 차이가 서로 다른 의사결정으로 이어질 수 있음을 보여주는 한편, 지표가 포화되면 눈에 띄게 다른 허용 가능한 계획에도 동일한 높은 점수가 부여될 수 있음을 보여준다.
- 초기 종료 지점은 더 깊은 레이어의 합의와 다르다.
- 4개 종료 지점은 겹치지만 2개는 서로 다른 모드를 유지한다.
- 6개 궤적 모두 차이는 있지만 만점을 받는다.
스코어러 아키텍처와 목적 함수
배포 스코어러는 DINOv2-Small 이미지 인코더를 미세 조정한다. 현재 전방 이미지와 후보 궤적만 사용하며, 자차 상태와 내비게이션 명령은 스코어러 입력에 포함하지 않는다. 궤적은 평탄화한 뒤 MLP로 임베딩한다. 궤적 특징과 이미지 특징을 연결하고, 6개의 독립적인 2층 MLP 헤드가 NC, DAC, DDC, TTC, EP, Comf에 대한 로짓을 출력한다.
평가자 구성 요소의 목표값에 대해 스코어러는 동일한 가중치의 소프트 레이블 이진 교차 엔트로피를 사용한다.
스코어러는 평가자 구성 요소의 소프트 목표값에 대해 동일한 가중치의 이진 교차 엔트로피를 최소화한다.
목표값을 이진화하지 않는다. 공식 구성에는 동점과 근소한 차이의 순위가 많기 때문에 전역 순위 손실도 사용하지 않는다. 추론 시에는 시그모이드로 변환한 구성 요소별 예측을 결합해 최종 품질 점수를 계산한다.
동점 고려 신뢰성
스코어러 진단에는 12,146개 장면으로 구성된 고정 오프라인 후보 풀이 사용된다. 이 풀은 스코어러 간 비교에만 사용하며, 최대 6개의 궤적을 누적하는 적응형 추론과는 별개다. 진단 장면의 95% 이상에는 모두 완벽하거나 모두 0점이거나 최고점에서 동률인 후보들이 포함된다. 따라서 엄격한 전체 순서 상관보다 선택 품질과 실제 결과에 영향을 주는 오류를 보고한다.
비디오 인덱스와 백본 진단
Wan 스코어러 특징은 실험한 5개 비디오 인덱스에서도 민감도가 낮다. 인덱스 17에서 Wan의 최고 종료 지점은 92.62를 기록해 DINO-Small보다 0.03 높았을 뿐이다. Wan 기반 스코어러를 사용하면 시도하는 모든 종료 지점마다 대규모 월드 모델 순전파를 추가해야 하므로, 이처럼 미미한 진단 차이는 온라인 비용을 정당화하지 못한다. 따라서 품질 검증기에는 DINO-Small을 사용한다.
결론
중간 비디오-DiT 특징은 전체 이미지 합성이 끝나기 훨씬 전부터 견고한 계획 표현으로 기능한다. Adaptive-WAM은 여러 깊이의 궤적 헤드와 동점을 고려하는 궤적 품질 제어기를 결합해 현재 계획의 품질에 따라 월드 모델 계산량을 배분한다. NAVSIM과 제로샷 nuScenes에서 강력한 성능을 달성하면서, 대규모 생성 월드 모델을 효율적인 주행 정책으로 전환할 수 있는 실용적인 경로를 제시한다.
자주 묻는 질문
Adaptive-WAM이란 무엇인가? Adaptive-WAM은 중간 비디오-DiT 특징에서 여러 궤적 종료 지점을 제공하고, 예측된 궤적 품질에 따라 경로를 선택하는 계획 방법이다.
Adaptive-WAM은 계획 지연 시간을 어떻게 줄이는가? 장면의 94% 이상이 처음 3개 종료 지점 안에서 종료된다. 이에 따라 고정 B15 대비 평균 지연 시간이 190ms에서 170ms로 줄어든다.
품질 스코어러는 어떤 데이터를 사용하는가? 스코어러는 현재 전방 이미지와 후보 궤적을 사용하며, 자차 상태나 내비게이션 명령은 입력으로 사용하지 않는다.
품질 검증기에 DINOv2-Small을 사용하는 이유는 무엇인가? Wan 기반 스코어러 특징은 진단 성능을 거의 개선하지 못하면서, 시도하는 모든 종료 지점마다 대규모 월드 모델 순전파를 요구한다.