문헌 검토 프로토콜
기존 E2E-AD 연구와 빠르게 등장하는 최신 연구를 함께 다루기 위해 구조화된 서술형 문헌 검토 프로토콜을 적용했다. 검토 대상은 동료심사 학술지, arXiv 프리프린트, 벤치마크 저장소, 챌린지 리더보드, 코드 공개 자료, 공식 프로젝트 페이지에 걸쳐 구성했다. 주요 자료원으로는 IEEE Xplore, ACM Digital Library, SpringerLink, ScienceDirect/Elsevier, arXiv, OpenReview, CVF Open Access, NeurIPS proceedings, 공개 벤치마크 저장소, 공식 프로젝트 웹사이트를 활용했다.
주요 검색 기간은 2015년부터 2026년 6월까지였으며, 신경망 기반 주행 또는 엔드투엔드 주행의 방향을 형성한 초기 연구는 그 이전에 발표된 경우에도 포함했다. 핵심 검색어로는 “end-to-end autonomous driving”, “learning-based planning”, “closed-loop driving”, “autonomous driving planning benchmark”, “nuPlan”, “NAVSIM”, “Bench2Drive”, “WOD-E2E”, “world model autonomous driving”, “vision-language driving”, “VLA driving”, “long-tail autonomous driving”, “autonomous driving generalization benchmark” 등을 사용했다.
또한 PilotNet, Conditional Imitation Learning, Learning by Cheating, TransFuser, TCP, UniAD, VAD, NAVSIM, Bench2Drive, DriveLM, SimLingo, WOD-E2E, LEAD 등 인용 연결성이 높은 논문과 벤치마크를 출발점으로 후방 및 전방 인용 추적을 수행했다.
포함 및 제외 기준
다음 기준 중 하나 이상을 충족하는 연구를 포함했다.
- 영향력 있는 E2E 주행 정식을 제안한 연구.
- 제어값, 웨이포인트, 궤적, 궤적 분포, 액션 토큰 등 계획과 직접 관련된 출력을 예측한 연구.
- 계획 평가를 위한 벤치마크, 데이터셋, 시뮬레이터 또는 평가지표를 제안한 연구.
- 자차 계획과 관련된 월드 모델, VLM 또는 VLA 메커니즘에 기여한 연구.
- 공개 데이터셋, 벤치마크, 코드베이스, 평가 서버 또는 재현성 자료를 공개한 연구.
- E2E 주행의 안전성, 해석 가능성, 강건성 또는 평가 방법을 비판적으로 분석한 연구.
인식, 검출, 세그멘테이션, 추적 또는 모션 예측만을 다룬 연구는 자차 계획을 직접 지원하거나 E2E 주행 스택에서 널리 사용되는 경우를 제외하고 배제했다. 기술 세부사항이 비교에 충분하지 않은 순수 독점 시스템도 제외했다.
포함된 각 연구에 대해 가능한 경우 입력 표현, 계획 출력, 지도 신호, 평가 프로토콜, 벤치마크 근거, 공개 리소스 현황을 기록했다.
범위와 정의
자율주행 스택은 주행 입력에서 주행 출력으로 이어지는 매핑이 학습된 정책 또는 미분 가능한 시스템으로 최적화되고, 최종 목적이 주행 동작, 경로 조건부 궤적 또는 모션 플랜일 때 엔드투엔드라고 부를 수 있다.
입력에는 카메라 영상, LiDAR, 레이더, 자차 상태, HD 맵, 경로 명령, 목표 지점, 자연어 등이 포함될 수 있다. 출력에는 조향 및 스로틀, 웨이포인트, 궤적, 궤적 분포, 이산 액션 토큰 등이 포함될 수 있다.
계획 중심 E2E-AD로의 진화
E2E-AD의 발전은 하나의 아키텍처 계보로 설명되지 않는다. 저수준 제어를 모방하는 데서 출발해, 계획 행동을 더 잘 점검하고 벤치마크할 수 있도록 표현, 지도 신호, 평가 프로토콜을 학습하는 방향으로 이동한 흐름으로 보는 편이 정확하다.
신경망 제어에서 조건부 모방학습으로
E2E 주행의 뿌리는 현대 딥러닝보다 앞선다. ALVINN은 신경망이 도로 영상을 조향 명령으로 매핑할 수 있음을 보였고, 이후 오프로드 주행 시스템은 제한된 조건에서 직접적인 지각-행동 학습이 가능함을 입증했다. DeepDriving은 수작업으로 설계한 인식과 직접 제어 사이의 중간 표현으로 어포던스 예측을 도입했다. 이어 PilotNet은 사람의 주행 시연으로 학습한 합성곱 신경망이 실제 도로 장면에서 차량을 제어할 수 있음을 보이며 카메라-조향 학습의 현대적 기준점이 되었다.
제어, 웨이포인트, 궤적
출력의 선택은 평가 방식에도 영향을 준다. 궤적은 변위 오차, 충돌 대리 지표, 경로 진행도, 충돌까지의 시간, 승차감 또는 선호도 레이블로 평가할 수 있다. 반면 직접적인 제어 명령은 오픈루프 로그에서 비교하기가 더 어렵다. 동일한 제어값이라도 차량 상태와 제어기 동역학에 따라 결과가 달라질 수 있기 때문이다. 벤치마크가 점점 계획 중심으로 바뀌면서 궤적 출력은 E2E 연구의 대표적인 인터페이스가 되었다.
지도학습의 목표와 실제 배치 환경에서의 행동 사이에는 간과하기 쉬운 불일치도 존재한다. 기록된 궤적은 보편적인 최적해가 아니라, 특정 상호작용 이력 아래에서 한 인간 운전자가 선택한 하나의 결과다. 모델이 조금만 이탈해도 기록된 미래는 더 이상 실행 가능하지 않거나 바람직하지 않을 수 있다.
따라서 순수한 점별 L2 궤적 손실은 오해를 불러일으킬 수 있다. 이 손실은 하나의 미래를 모방하도록 유도하지만, 외란이 발생한 뒤 안전한 대안들 중 무엇을 선택해야 하는지는 가르치지 못한다. 최근 플래너들은 이러한 간극을 메우기 위해 다중 모달 헤드, 궤적 정제, 규칙 인지형 비용 함수 또는 학습된 점수 함수를 점점 더 활용하고 있다.
결국 직접 제어에서 궤적 출력으로의 전환은 단순한 출력 형식의 변화가 아니다. 제어기, 안전 제약, 계획 지표를 통해 정책을 더 쉽게 점검할 수 있게 하는 동시에, 다중 모달 미래와 계획 선택에 관한 새로운 문제를 드러낸다.
BEV, 점유, 벡터화된 장면 표현
BEV 표현이 널리 사용된 이유는 계획에 적합한 기하학적 좌표계를 제공하기 때문이다. 여러 시점의 카메라, 지도, 차선, 객체, 점유 정보를 하나의 공통 공간 격자에 통합할 수 있다. ST-P3, UniAD 및 관련 연구는 BEV와 유사한 구조를 활용해 검출, 예측, 점유, 계획 손실을 함께 지원한다.
벡터화 표현은 차선, 에이전트, 궤적을 조밀한 격자가 아닌 구조화된 토큰으로 나타내며 한 단계 더 나아간다. VAD는 벡터화된 장면 표현이 효율적인 자율주행을 지원할 수 있음을 보였고, VADv2는 확률적 계획으로 이 방향을 확장했다.
BEV와 벡터 공간의 계획상 장점은 해석 가능성과 제약 조건과의 호환성이다. 플래너는 원시 영상 특징보다 공간 표현 안에서 주행 가능 영역, 차선 위상, 에이전트 상호작용, 경로 진행도를 더 자연스럽게 추론할 수 있다.
위험 요소는 조밀한 BEV 처리가 높은 연산 비용을 요구할 수 있고, 이를 지도하는 인식 레이블의 한계를 그대로 물려받을 수 있다는 점이다. DriveTransformer와 DrivoR을 비롯한 최근의 희소·레지스터 기반 설계는 연산량을 줄이면서도 계획에 필요한 구조를 유지하려는 시도로 이해할 수 있다.
BEV, 점유, 벡터 표현의 가치는 인식 성능 향상에만 있지 않다. 핵심적인 계획상의 가치는 원시 센서 정보를 지도, 에이전트, 여유 공간, 경로 제약과 대조해 검증할 수 있는 기하 구조로 변환한다는 데 있다.
통합 스택과 태스크 결합
태스크 결합은 새로운 위험도 만든다. 통합 모델의 성능이 좋더라도 어떤 내부 구성 요소가 기여했는지 명확하지 않을 수 있다. 실패가 발생하면 모듈형 스택보다 디버깅이 어려울 수 있다. 또한 공동 학습은 지름길 학습을 유발할 수 있다. 예를 들어 모델이 시각적 근거는 충분히 활용하지 않은 채 자차 상태나 경로 신호에 과도하게 의존할 수 있다.
따라서 계획 중심 아키텍처는 지름길 행동을 드러내는 인과 진단, 절제 실험, 벤치마크 프로토콜과 함께 설계되어야 한다.
아키텍처 설계에서 반복적으로 제기되는 질문은 단순히 모듈형으로 갈 것인지 엔드투엔드로 갈 것인지가 아니다. 안전성, 디버깅, 평가를 위해 안정적으로 유지해야 하는 인터페이스를 어디에 둘 것인지가 핵심이다.
시스템은 엔드투엔드로 학습하면서도 점유 정보, 차선 위상, 객체 토큰, 경로 명령, 불확실성 추정치, 후보 궤적과 같은 명시적 인터페이스를 유지할 수 있다. 반대로 모듈형처럼 보이는 시스템도 다운스트림 손실을 업스트림 표현으로 전파할 수 있다.
최근 시스템 전반에서 공통적으로 나타나는 패턴은 계획 및 안전 점검에 필요한 변수를 외부에 드러내면서, 학습 정책을 지배하는 수작업 목적 함수는 줄이는 것이다.
불확실성과 생성형 계획
남은 핵심 과제는 생성된 계획을 어떻게 평가할 것인가이다. 분포가 안전하고 목표와 일치하는 궤적을 위험하거나 무관한 궤적보다 높게 평가할 때에만 유용하다. 따라서 월드 모델 기반 평가, 선호도 레이블, 폐루프 시뮬레이션은 생성형 계획을 보완하는 자연스러운 방법이다.
폐루프 행동을 위한 아키텍처 교훈
이러한 관찰은 아키텍처 논문이 따라야 할 실용적인 점검 목록을 제시한다. 저자는 다음 사항을 보고해야 한다.
- 플래너가 명시적인 경로 토큰 또는 목표 지점을 사용하는가.
- 횡방향 경로뿐 아니라 속도도 예측하는가.
- 제어기를 학습하는가, 아니면 고정된 제어기를 사용하는가.
- 궤적 샘플을 학습된 비용 함수로 순위화하는가.
- 자차 상태가 기록된 궤적에서 벗어났을 때 정책이 회복할 수 있는가.
이러한 세부사항이 없으면 아키텍처 비교는 숨겨진 평가 장치의 비교로 변하기 쉽다.
계획 인터페이스, 제어기, 안전 래퍼, 회복 메커니즘을 보고하지 않고서는 아키텍처의 새로움을 해석하기 어렵다. 이러한 세부사항은 인코더 백본만큼이나 폐루프 행동을 좌우하는 경우가 많다.
학습 신호와 데이터 엔진
학습자와 전문가 사이의 불일치는 시뮬레이션에서 특히 중요해진다. 특권 정보를 사용하는 전문가라면 대규모 데이터를 저렴하게 생성할 수 있지만, 관측할 수 없는 정답 상태를 이용하는 전문가는 카메라 기반 학생 모델이 안정적으로 모방하기 어려운 시연을 만들어낼 수 있다.
LEAD는 교사와 학생 사이의 관측 가능성, 불확실성, 의도 비대칭을 줄이도록 전문가와 내비게이션 조건을 설계함으로써 이 문제를 새롭게 바라본다. 이는 전문가 설계를 고정된 데이터 원천이 아니라 학습 문제의 일부로 다룬다는 점에서 중요한 개념적 진전이다.
평가지표의 유형
오픈루프 지표에는 평균 변위 오차, 최종 변위 오차, 궤적 L2 오차, 기록된 장면에 대해 계산한 충돌 대리 지표가 포함된다. 이러한 지표는 빠른 반복 실험에는 유용하지만 최종적인 근거로는 취약하다.
모델이 기록된 궤적을 잘 따라가더라도 이탈 후 회복하지 못할 수 있고, 다른 궤적이 기록된 인간 운전 경로보다 더 안전하거나 자연스러울 수도 있다. “Is Ego Status All You Need?”는 오픈루프 프로토콜이 인식보다 자차 상태 신호에 크게 의존하는 지름길에 취약할 수 있음을 보였다. Hidden Biases 역시 벤치마크 프로토콜이 E2E 주행 모델에 대한 결론을 왜곡할 수 있음을 입증했다.
오픈루프와 폐루프 결과가 다른 이유
오픈루프와 폐루프 지표가 서로 다른 결과를 내는 데에는 구조적인 이유가 있다. 첫째, 오픈루프 평가는 전문가의 상태 분포 아래에서 정책을 평가하는 반면, 폐루프 평가는 정책이 스스로 만들어낸 상태 분포에서 정책을 평가한다.
둘째, 오픈루프 지표는 특히 다중 모달 상호작용에서 유효한 대안을 불이익으로 처리하는 경우가 많다. 셋째, 오픈루프 지표에는 배경 에이전트의 피드백과 규칙 위반이 대체로 반영되지 않는다. 넷째, 폐루프 시스템은 오픈루프 로그에 나타나지 않을 수 있는 제어기 세부사항, 시뮬레이터 동역학, 확률적 시나리오 결과에 의존한다.
이러한 불일치는 서베이 작성에도 실질적인 의미를 갖는다. 프로토콜을 명시하지 않고 어떤 방법을 state of the art라고 불러서는 안 된다. 강력한 nuScenes L2 점수, 강력한 NAVSIM PDMS 점수, 강력한 Bench2Drive Driving Score는 서로 다른 주장을 의미한다.
비교표는 서로 다른 프로토콜의 점수를 뒤섞기보다 벤치마크와 지표 유형별로 방법을 묶을 때 더 신뢰할 수 있다.
최근의 상관관계 연구는 이 점을 더욱 분명히 한다. NAVSIM과 Bench2Drive 결과를 교차 비교하면 안전성을 고려한 오픈루프 점수가 ADE나 FDE보다 폐루프 주행 점수와 더 높은 상관을 보일 수 있지만, 순위 역전은 여전히 발생하며 하위 지표는 포화될 수 있다.
NAVSIM 방식의 점수는 확장성이 높고 L2보다 계획을 더 잘 반영한다는 점에서 유용하지만, 폐루프 상호작용을 대체하는 지표가 아니라 대리 근거로 설명해야 한다. 반대로 Bench2Drive 방식의 점수는 행동 측면에서 더 의미가 있지만, 여전히 CARLA의 시뮬레이터 분포에 묶여 있다.
따라서 탄탄한 실증적 주장은 최소한 하나의 실제 로그 기반 대리 프로토콜과 하나의 반응형 폐루프 프로토콜을 함께 활용해 삼각 검증해야 한다.
권장 보고 프로토콜
향후 E2E-AD 논문에는 다음 다섯 가지 근거를 보고할 것을 권장한다.
- 오픈루프 궤적 품질.
- 비반응형 실제 로그 기반 계획 점수.
- 폐루프 경로 및 위반 지표.
- 롱테일 또는 선호도 인지 성능.
- 정성적 실패 분석.
또한 센서 구성, 경로 입력, 출력 유형, 제어기, 안전 래퍼, 학습 데이터 출처, 데이터 필터링, 연산 예산, 난수 시드, 벤치마크 버전, 지표 구현을 보고해야 한다.
이러한 세부사항이 없다면 리더보드의 작은 점수 차이를 해석하기 어렵다.
하나의 “최고 방법” 열을 두는 방식은 피하는 것이 좋다. 대신 오픈루프 모방, 계획 대리 지표, 반응형 폐루프, 롱테일 분포 변화, 코드 공개 여부, 연산량을 별도 열로 나누는 편이 정직하다.
오픈루프 L2에서는 약하지만 폐루프 경로 완료율이 높은 방법이 더 뛰어난 플래너일 수 있다. NAVSIM에서는 강하지만 Bench2Drive에서는 느린 방법은 진행도보다 안전성에 과도하게 최적화했을 수 있다. 강력한 추론을 생성하지만 궤적은 평범한 VLA 방법을 주행의 획기적 발전으로 포장해서는 안 된다.
비교의 단위는 모델명이 아니라 주장이어야 한다.
런타임 보증과 안전 여유 영역
실증 벤치마크에서의 안전성이 운용 안전 보증과 같은 것은 아니다. 실제로 적용되는 E2E 주행 스택에는 학습된 플래너를 제한하거나 감시하는 런타임 메커니즘이 필요할 가능성이 높다.
이러한 메커니즘은 엔드투엔드 학습을 포기하지 않고도 추가할 수 있다. 신경망 정책이 궤적을 제안하고, 보증 계층이 그 제안이 검증되었거나 규칙으로 제한된 안전 여유 영역 안에 있는지 점검하는 방식이다.
이는 학습을 차량의 유일한 안전 메커니즘이 아니라 후보 행동을 생성하는 수단으로 본다는 점에서 계획 중심 E2E-AD와 양립한다.
관련된 공학적 접근은 다음과 같다.
- 안전 모니터는 주행 가능 영역, 제한 속도, 경로 위상 또는 충돌까지의 시간 임계값을 위반하는 계획을 거부할 수 있다.
- 폴백 플래너는 신뢰도가 낮을 때 보수적인 제동 또는 규칙 기반 차선 유지를 수행하도록 전환할 수 있다.
- 규칙 기반 셸드는 신호등, 정지 표지판 또는 차선 경계 제약을 강제할 수 있다.
- 제어 장벽 함수와 도달 가능성 분석은 저수준 제어를 위한 안전 집합을 정의할 수 있지만, 이를 인식 조건부·다중 에이전트·고차원 E2E 정책으로 확장하는 일은 여전히 어렵다.
- 비상 제동 모듈은 충돌 위험을 낮출 수 있지만 승차감 문제를 일으킬 수 있다.
자주 묻는 질문
자율주행 스택을 엔드투엔드라고 부르는 기준은 무엇인가? 학습된 정책 또는 주행 목적에 맞게 최적화된 미분 가능한 시스템을 통해 주행 입력을 동작, 경로 조건부 궤적 또는 모션 플랜으로 매핑하는 것이다.
E2E 주행 연구에서 궤적 출력이 점점 더 많이 사용되는 이유는 무엇인가? 궤적은 직접적인 제어 명령보다 제어기, 안전 제약, 계획 지표를 통해 점검하기 쉽기 때문이다.
오픈루프와 폐루프 지표가 서로 다른 결과를 내는 이유는 무엇인가? 오픈루프 평가는 전문가의 상태 분포를 사용하는 반면, 폐루프 평가는 정책이 만들어낸 상태를 사용하며 제어기, 시뮬레이터, 상호작용의 영향을 포함하기 때문이다.
향후 E2E-AD 논문은 무엇을 보고해야 하는가? 센서, 제어기, 데이터, 연산량, 지표 세부사항과 함께 오픈루프, 계획 대리 지표, 폐루프, 롱테일 또는 선호도 인지 성능, 정성적 실패 근거를 보고해야 한다.