새로운 엔드-투-엔드 자율주행 시스템이 운영자에게 모델을 재훈련하지 않고도 특정 운전 스타일(보수적인 차선 유지부터 공격적인 차선 변경까지)을 설정할 수 있는 기능을 제공합니다. 창춘 대학 연구진이 개발한 D³-MoE는 이중 혼합 전문가 접근법을 사용하며, 별도의 측방 및 종방향 전문가 네트워크를 갖추고 있습니다. 이 모든 것은 확산 기반 궤적 생성기에 의해 조종되며, 사용자의 스타일 선호도를 직접 움직임으로 변환합니다.
목차
연구진이 구축한 것
D³-MoE는 엔드-투-엔드 자율주행 모델로, 다중 센서 입력(6대 카메라, LiDAR, HD 지도)을 받아 8개의 웨이포인트로 구성된 4초 궤적을 직접 출력합니다. 이 모델의 차별점은 추론 시 간단한 이산 스타일 레이블(공격적, 보수적, 중립)을 사용하여 생성된 궤적의 스타일을 제어할 수 있다는 점입니다.
이를 위해 아키텍처는 두 개의 별도 혼합 전문가(MoE) 모듈(측방 동작(회전)용 하나, 종방향 동작(속도)용 하나)을 사용합니다. 측방 MoE는 5명의 전문가(급좌회전, 좌회전, 직진, 우회전, 급우회전)로 구성됩니다. 종방향 MoE는 3명(제동, 순항, 가속)으로 구성됩니다. 두 개의 독립적인 라우터가 입력 데이터와 원하는 스타일에 따라 활성화할 전문가를 선택합니다. 선택된 전문가는 조건부 확산 모델을 안내하여 무작위 궤적을 부드럽고 스타일 일관성 있는 경로로 복원합니다.
훈련 데이터는 모델에게 운전 성격의 전체 스펙트럼을 가르치기 위해 합성적으로 공격적이고 보수적인 궤적으로 증강되었습니다. 그 결과 추가 미세 조정 없이 즉석에서 조정할 수 있는 단일 모델이 탄생했습니다.
주요 결과
모델은 여러 미국 도시의 운전 장면을 포함하는 NAVSIM 데이터셋으로 훈련 및 평가되었습니다. D³-MoE는 바닐라 확산, 무조건부 MoE, UniAD 및 VAD와 같은 엔드-투-엔드 플래너를 포함한 여러 기준선과 비교되었습니다.
주요 지표는 예측 운전 모델 점수(PDMS)와 확장 변형 EPDMS입니다. 논문에 따르면 D³-MoE는 모든 방법 중 가장 높은 PDMS를 달성하면서도 가장 스타일이 일관된 궤적을 생성합니다. 구체적으로:
- 스타일 제어 가능성: 공격적 스타일 레이블이 주어지면 모델 생성 궤적은 더 높은 속도 프로필과 더 빈번한 차선 변경을 보였습니다. 보수적 레이블 아래에서는 낮은 속도와 더 좁은 차선 중심 유지를 보였습니다.
- 안전 지표: D³-MoE는 모든 스타일에서 거의 제로 충돌률과 높은 충돌 시간 값을 유지했으며, 보수적 스타일은 검증 세트에서 100% 무충돌률을 달성했습니다.
- 승차감: 공격적 모드는 약간 더 거친 움직임(승차감 점수 약 5% 하락)을 보였지만, 여전히 허용 가능한 승객 안락 기준 내에 있었습니다.
- 일반화: 모델은 보지 못한 도로 형상 및 교통 조건에서도 스타일 일관성 있는 행동을 유지했습니다.
차선 유지 및 신호등 준수를 포함하는 확장 EPDMS 지표에서 모든 스타일 변형이 기본 교통 규칙을 준수하며, 보수적 모드는 급제동을 거의 필요로 하지 않음을 보여주었습니다.
작동 원리
D³-MoE는 2초 과거의 다중 뷰 이미지, LiDAR 포인트 클라우드, 지도 데이터를 처리하여 다음 4초에 걸친 8웨이포인트 궤적을 생성합니다. 핵심 혁신은 이중 분리 혼합 전문가입니다.
이중 분리 MoE: 단일 MoE가 운전의 모든 측면을 학습해야 하는 대신, 아키텍처는 측방 및 종방향 제어를 분리합니다. 각각 자체 전문가 세트와 자체 라우터(경량 신경망)를 가지고 있습니다. 라우터는 센서 임베딩과 원-핫 스타일 레이블을 모두 수신하고, 전문가 출력을 혼합하는 소프트 게이팅 벡터를 출력합니다.
| 전문가 영역 | 전문가 수 | 전문가 이름 |
|---|---|---|
| 측방 | 5 | 급좌회전, 좌회전, 직진, 우회전, 급우회전 |
| 종방향 | 3 | 제동, 순항, 가속 |
조건부 확산 디코더: 궤적 생성은 가우시안 노이즈에서 시작하여 여러 단계에 걸쳐 반복적으로 잡음을 제거합니다. 확산 과정은 두 가지 조건에 의해 제어됩니다: 인식 백본의 융합 센서 임베딩과 전문가 안내 잠재 표현(MoE 라우터의 출력). 이는 잡음 제거기가 선택된 스타일과 일치하면서 장면 형상을 존중하는 궤적을 생성하도록 조건화합니다.
스타일 증강: 모델이 다양한 스타일을 이해하도록 훈련하기 위해 연구진은 실제 궤적을 합성적으로 변형했습니다. 공격적 궤적은 속도를 증폭하고 차선 중심선을 따라 확장하여 생성되었으며, 비현실적인 행동을 방지하기 위해 안전 클리핑이 적용되었습니다. 보수적 궤적은 속도를 점진적으로 줄이고, 차량 간격을 넓히며, 필요 시 최대 주의를 시뮬레이션하기 위해 시간 지평을 단축하여 생성되었습니다.
추론 시 사용자는 센서 데이터와 함께 스타일 레이블(0=보수적, 1=중립, 2=공격적)만 전달하면 됩니다. 라우터가 자동으로 적절한 전문가를 활성화하고 그에 따라 확산 과정을 안내합니다.
로봇공학에서의 중요성
스타일 제어 가능한 자율주행은 직접적인 상업적 및 운영적 가치가 있습니다. 창고 로봇 및 물류 차량의 경우 조심성과 공격적인 주행 모드 간 전환 능력은 동일한 로봇 군집이 피크 시간에는 좁은 통로를 탐색하고 비피크 시간에는 효율적으로 순항할 수 있음을 의미합니다. 승용차에서 OEM은 운전자 선호도나 지역 운전 문화에 적응하는 단일 계획 스택을 제공할 수 있습니다.
이중 MoE 아키텍처는 다른 로봇공학 분야에도 강력한 템플릿입니다. 속도와 정밀도의 균형을 맞춰야 하는 로봇 팔이나 보행 패턴을 조정해야 하는 보행 로봇과 같이 여러 행동 목표를 균형 있게 조정해야 하는 모든 시스템이 분리된 전문가 접근법의 이점을 얻을 수 있습니다. 핵심 요점: 각 스타일에 대해 별도의 모델을 훈련하는 대신, 스타일 조건부 전문가가 있는 하나의 모델을 훈련하여 재훈련 없이 즉석에서 행동 전환이 가능합니다.
유지보수 엔지니어와 차량 관리자에게 이는 배포할 모델이 더 적고, 업데이트가 더 간단하며, 다양한 환경에서 일관된 행동을 의미합니다. 확산 디코더의 사용은 전통적인 최적화 기반 플래너보다 더 부드러운 궤적을 생성하여 액추에이터 마모를 줄이고 효율성을 향상시킵니다.
한계 및 미해결 과제
현재 모델은 단일 이산 스타일 레이블에 의존합니다. 실제 운전은 미묘합니다. 운전자는 공격적인 가속을 원하지만 보수적인 차선 변경을 원할 수 있습니다. 연속적 또는 다차원 스타일 임베딩이 더 유연할 것입니다.
합성 궤적 증강은 단순합니다. 공격적은 "속도를 높이고 방향을 꺾는 것"을 의미하지만, 실제 공격적 운전은 앞차와의 거리를 좁히고 늦은 제동을 포함합니다. 논문은 모델이 긴급 회피 기동과 같은 극단적인 운전 행동을 얼마나 잘 처리하는지 보여주지 않습니다.
또한 평가는 주로 미국 도시의 고속도로 및 도시 주행을 포함하는 NAVSIM 데이터셋으로 제한됩니다. 밀집 교통, 비미국 도로 규칙, 또는 악천후에서의 성능은 알려져 있지 않습니다. 모델의 실시간 추론 속도와 임베디드 하드웨어에서의 계산 비용도 보고되지 않았습니다.
자주 묻는 질문
높은 수준에서 스타일 제어는 어떻게 작동하나요? 간단한 정수 레이블(0, 1, 2)을 각각 보수적, 중립, 공격적 운전에 해당하여 전달합니다. 모델의 이중 라우터가 활성화할 측방 및 종방향 전문가를 선택하여 확산 디코더가 생성하는 궤적에 영향을 미칩니다.
모델이 재훈련 없이 장면 중간에 스타일을 전환할 수 있나요? 네, 스타일 레이블은 추가 미세 조정 없이 추론 단계에서 언제든지 변경할 수 있습니다. 모델은 동일한 가중치 세트로 스타일 간 일반화하도록 설계되었습니다.
공격적 모드로 설정해도 모델이 안전을 유지하나요? 네. 공격적 모드는 더 높은 속도와 더 많은 차선 변경을 생성하지만, 모델은 여전히 신호등, 차선 경계, 충돌 회피를 존중합니다. 충돌 시간 및 충돌률과 같은 안전 지표는 중립 모드 수준에 가깝게 유지되었습니다.
스타일 인식 모델을 훈련하는 데 어떤 데이터가 사용되었나요? 기본 모델은 수백 시간의 실제 운전 데이터를 포함하는 NAVSIM 데이터셋으로 훈련되었습니다. 스타일을 가르치기 위해 연구진은 합성적으로 궤적을 증강했습니다. 공격적은 속도를 높이고 다시 확장하고, 보수적은 속도를 늦추고 차간 거리를 넓혔습니다.
결론
D³-MoE는 측방 및 종방향 결정을 별도의 전문가 모듈로 분리함으로써 단일 엔드-투-엔드 모델로 스타일 제어 가능한 자율주행이 가능함을 보여줍니다. 이 접근법은 실용적이며, 기존 데이터셋과 확산 기반 계획을 바탕으로 하며, 물류, 라스트 마일 배송, 개인 이동 수단에서 사용자 조정 가능한 로봇 행동의 문을 엽니다.