DA-WAM은 자율주행 플래너에 각 후보 궤적별로 서로 다른 미래를 예측하게 한 뒤, 각각의 행동이 초래할 결과와 해당 선택지를 대조해 점수를 매긴다. NAVSIM-v1 절제 실험에서 이러한 의사결정 정렬형 설계는 미래 예측이 없는 플래너의 PDMS를 93.31에서 안전 중심 반사실 감독을 적용한 경우 93.68까지 끌어올렸다. 충돌, 규정 준수, 충돌까지의 시간, 승차감 지표도 함께 개선됐다.
목차
- 연구진은 무엇을 만들었나?
- 핵심 결과는 무엇인가?
- DA-WAM은 어떻게 작동하나?
- DA-WAM이 로보틱스에 중요한 이유는 무엇인가?
- 한계와 남은 과제는 무엇인가?
- 자주 묻는 질문
- 핵심 결론은 무엇인가?
연구진은 무엇을 만들었나?
DA-WAM은 자율주행차가 여러 후보 궤적 가운데 하나를 선택하도록 돕는 주행 월드 모델이다. 기존 플래너는 현재 장면을 바탕으로 여러 후보 경로를 검토하거나, 모든 후보에 대해 나중에 장면이 어떻게 보일지를 하나의 공통 예측으로 제공할 수 있다. 반면 DA-WAM은 각각의 후보 행동마다 서로 다른 미래 잠재 상태를 예측한다.
잠재 상태란 직접 렌더링한 동영상 프레임이 아니라 장면을 압축해 표현한 내부 표현이다. 예를 들어 하나의 잠재 상태는 차량이 직진할 때 벌어질 일을, 다른 잠재 상태는 좌회전했을 때의 결과를 나타낼 수 있다. 이후 궤적 평가기는 각 후보에 맞춰 예측된 미래를 사용해 후보를 평가한다.
시스템은 세 요소로 구성된다. 첫째, 사전 학습된 비디오 표현 모델이 현재 관측에서 장면 특징을 추출한다. 둘째, 행동 조건부 예측 모듈이 제안된 각 궤적에 대한 미래 잠재 상태를 추정한다. 셋째, 평가기가 예측된 미래와 주행 목표를 함께 사용해 후보의 순위를 정한다.
학습 과정에서도 미래 예측과 계획의 연결을 유지한다. DA-WAM은 사전 학습 후 예측 표현을 고정하는 대신, 궤적 평가기를 학습하면서 그중 일부를 함께 조정한다. 또한 안전이 중요한 사례를 포함해, 기하학적으로는 비슷해 보여도 결과는 크게 달라지는 경로를 구분하도록 시스템을 학습시킨다.
핵심 결과는 무엇인가?
DA-WAM은 12,146개 주행 시나리오로 구성된 NAVSIM-v1 navtest 분할에서 평가됐다. 주요 지표인 Predictive Driver Model Score(PDMS)는 무과실 충돌 회피, 주행 가능 영역 유지, 주행 진척, 충돌까지의 시간 유지, 승차감이라는 다섯 가지 주행 목표를 종합한다. Drivable Direction Compliance도 진단 지표로 사용됐다.
절제 실험 결과는 잠재 경로를 하나 더 추가하는 것만으로는 계획 문제가 해결되지 않음을 보여준다. 미래 예측이 없는 플래너는 PDMS 93.31을 기록했고, 현재 잠재 제어 방식은 93.25였다. 모든 후보가 공유하는 전역 미래는 92.81로 더 낮았다. 하나의 예측만으로는 서로 다른 행동이 낳는 결과를 표현할 수 없기 때문이다.
행동별 예측을 적용하자 PDMS는 안전 하드 네거티브 없이도 93.46으로 상승했다. 여기에 반사실 안전 감독을 추가하자 93.68까지 다시 높아졌다. 이는 미래 예측이 없는 기준선보다 0.37점, 공유 전역 미래를 사용하는 방식보다 0.87점 높은 수치다.
| 플래너 구성 | PDMS | 보고된 EP | 해석 |
|---|---|---|---|
| 미래 예측 없음 | 93.31 | 91.36 | 강력한 기존 기준선 |
| 현재 잠재 제어 | 93.25 | 보고되지 않음 | 경로를 하나 더 추가하는 것만으로는 효과가 작음 |
| 공유 전역 미래 | 92.81 | 88.68 | 하나의 미래가 예측과 행동 사이의 불일치를 만듦 |
| 행동 조건부 미래 | 93.46 | 90.47 | 각 후보가 자신만의 미래를 부여받음 |
| 행동 조건부 미래와 하드 네거티브 | 93.68 | 89.97 | 후보 구분의 안전성은 높아지지만 진척도는 낮아짐 |
정성적 비교에서도 같은 경향이 나타났다. DA-WAM은 큰 좌회전에서 전문가 경로를 더 가깝게 따랐고, 교통이 밀집한 상황이나 양보가 충돌하는 상황에서 비교 시스템이 충돌 또는 충돌까지의 시간 관련 불이익을 받은 반면 실패를 피했다.
DA-WAM은 어떻게 작동하나?
DA-WAM은 현재 관측을 입력받아 이를 공간 장면 토큰으로 변환한다. 장면 토큰은 주행 장면의 위치와 시각 정보를 나타내는 압축된 특징 벡터다. 사전 학습된 V-JEPA 2.1 백본이 초기 표현을 제공하고, Low-Rank Adaptation, 즉 LoRA가 선택된 트랜스포머 계층 내부에 소수의 학습 가능 파라미터를 추가한다.
플래너는 기존의 후보 기반 계획 과정으로 후보 궤적을 생성한다. 각 후보는 행동 조건부 예측 경로를 통과한다. 이 예측 경로는 차량이 특정 궤적을 따를 경우 도달하게 될 미래 잠재 상태를 추정한다. 평가기는 후보와 그에 대응하는 미래 잠재 상태를 함께 입력받으므로, 행동과 예측된 결과가 일대일로 연결된다.
이 차이가 핵심이다. 모든 후보가 하나의 미래 표현을 공유하면 평가기는 장면을 평균적으로 묘사한 정보만 보게 된다. 이 표현은 전반적인 교통 상황은 포착할 수 있지만, 거의 동일한 두 경로를 가르는 세부 사항은 놓친다. 예를 들어 한 경로는 다른 차량의 예측 위치를 가로지르고, 다른 경로는 안전하게 비켜 갈 수 있다.
미래 예측에는 온라인 인코더와 타깃 인코더를 함께 사용하는 구조가 적용된다. 온라인 인코더는 현재 관측을 처리하며 계획 손실과 예측 손실을 통해 업데이트된다. 타깃 인코더는 학습 중 관측된 미래 프레임을 처리한다. 타깃 인코더의 파라미터는 온라인 인코더에서 지수 이동 평균으로 조금씩 갱신되며, 타깃 경로에는 그래디언트가 전달되지 않는다. 이를 통해 안정적인 예측 목표를 만들고 표현이 정보 없는 특징으로 붕괴하는 것을 막는다.
타깃 경로는 학습 중에만 사용된다. 실제 배포 환경에서는 조정된 온라인 인코더가 잠재 특징을 생성하고, 평가기가 후보 미래의 순위를 정한다. 안전 하드 네거티브는 후보의 기하학적 형태는 비슷하지만 결과가 다른 사례를 추가한다. 덕분에 평가기는 경로의 모양만이 아니라 그 결과에도 주의를 기울이게 된다.
DA-WAM이 로보틱스에 중요한 이유는 무엇인가?
핵심 교훈은 자율주행차를 넘어선다. 예측 모델은 자신의 예측이 실제 의사결정을 직접 뒷받침할 때 더 유용해진다. 이동 로봇에 필요한 것은 단순히 “환경이 어떻게 보일지”를 예측하는 일이 아니다. “이 로봇이 특정 경로, 속도, 또는 동작을 선택하면 어떤 일이 벌어질지”에 답해야 한다.
이 원리는 창고 로봇이 통로 경로를 선택하거나, 배송 로봇이 보행자를 피해 이동하거나, 산업 시스템이 작업자 주변에서 동작을 선택하는 상황에 적용될 수 있다. 현재 지도에서 가장 짧아 보이는 경로도 다른 에이전트가 움직인 뒤에는 위험해질 수 있다. 후보별 미래를 사용하면 실행 전에 각 결과를 비교할 수 있는 방법을 의사결정 계층에 제공한다.
이 접근법은 모델을 실용적으로 조정하는 전략도 제시한다. 사전 학습된 시각 백본 대부분을 동결한 채 LoRA 모듈을 학습하면 업데이트해야 할 파라미터 수를 줄일 수 있다. 이는 제한된 온보드 하드웨어에 인식 및 계획 모델을 배포하려는 팀에 의미가 있지만, 제공된 결과에는 실행 시간이나 메모리 사용량이 보고되지 않았다.
창고 로봇이나 중고 산업용 로봇을 검토하는 조직이라면 DA-WAM을 더 안전한 자율성을 위한 설계 패턴으로 볼 수 있다. 실행 가능한 행동을 여러 개 생성하고, 행동별 결과를 예측한 뒤, 그 결과를 기준으로 각 행동의 점수를 매기는 방식이다.
한계와 남은 과제는 무엇인가?
보고된 평가는 NAVSIM 시뮬레이션 시나리오를 중심으로 이뤄졌으므로, 실제 도로, 이례적인 날씨, 센서 고장, 예측하기 어려운 인간의 행동에서 성능을 보장하지는 않는다. 또한 제공된 내용은 모든 경쟁 주행 시스템과의 완전한 수치 비교가 아니라 절제 실험 점수를 제시한다.
안전성 향상에는 대가가 따른다. 하드 네거티브 감독을 추가하자 PDMS와 여러 안전 관련 지표는 개선됐지만, Ego Progress는 90.47에서 89.97로 하락했다. 이는 모든 주행 목표에서 보편적으로 성능이 좋아졌다기보다 평가기가 더 신중해졌음을 의미한다.
NAVSIM-v2의 더 폭넓은 EPDMS 기준을 적용한 평가도 포함되어 있지만, 제공된 내용에는 그 결과가 제시되지 않았다. 연산 비용, 추론 지연 시간, 카메라 해상도, 후보 수, 분포 변화 상황에서의 성능은 여전히 배포를 위해 확인해야 할 중요한 문제다.
자주 묻는 질문
DA-WAM은 어떤 문제를 해결하나? DA-WAM은 하나의 공유 장면 예측을 사용하는 대신 행동마다 별도의 미래를 예측해, 주행 플래너가 후보 궤적을 구분하도록 돕는다.
미래 잠재 상태란 무엇인가? 예측된 미래 장면을 압축해 학습한 표현이다. 완전한 미래 동영상을 생성하지 않아도 의사결정에 중요한 결과를 담아낼 수 있다.
공유 미래 예측은 왜 효과가 떨어지나? 공유 미래는 여러 행동의 결과를 뒤섞기 때문에, 어떤 후보가 충돌이나 차선 이탈, 교통 흐름과의 충돌을 일으키는지 식별하기 어려워진다.
DA-WAM은 모든 주행 지표를 개선하나? 그렇지 않다. 가장 강력한 구성은 PDMS, 충돌 관련 지표, 주행 가능 영역 준수, 충돌까지의 시간, 승차감을 개선했지만, 보고된 Ego Progress 점수는 더 낮았다.
핵심 결론은 무엇인가?
DA-WAM은 각각의 후보 주행 행동을 그 행동에 맞는 미래 예측과 연결해, 각 선택이 초래할 가능성이 높은 결과를 평가기에 직접 제공한다. NAVSIM 절제 실험은 안전 중심 하드 네거티브로 이 연결을 강화하면 전반적인 계획 품질이 향상되지만, 안전성과 진척도 사이에 분명한 절충이 있음을 보여준다.