연구진이 인간의 시연 없이 오직 자기 대결(self-play)만으로 자율주행 정책을 학습시키는 고속 주행 시뮬레이터 TerraZero를 구축했습니다. 실제 지도에서 절차적으로 수백만 개의 교통 시나리오를 생성하여 차량, 보행자, 자전거를 공동으로 제어하는 정책을 만들 수 있습니다. 이 시스템은 객체 수준(object-level) 주행 시뮬레이터 중 가장 높은 처리량을 달성하면서 여러 데이터 소스를 지원합니다.
목차
연구진이 구축한 것
TerraZero는 대규모 자기 대결을 통한 강화 학습(Reinforcement Learning, RL)을 위해 특별히 설계된 폐루프(closed-loop) 주행 시뮬레이터입니다. 빠른 C 시뮬레이션 엔진과 절차적 시나리오 생성기를 결합하여 단일 실제 지도를 수천 개의 고유한 훈련 에피소드로 변환합니다. 시뮬레이터는 Waymo, nuPlan, CARLA의 지도 데이터를 받아들이며, 각각을 엔진이 직접 읽는 간결한 바이너리 형식으로 변환합니다.
이 시스템은 다양한 교통 참가자를 모델링합니다: 자동차(저크 수준 제어), 보행자(외발자전거 모델), 자전거(소형 자전거 모델), 트럭(타이어 힘을 포함한 자전거 모델). 단일 공유 신경망이 유형별 행동 마스킹을 통해 모든 에이전트 유형을 제어합니다. 규칙 기반 비플레이어 캐릭터(NPC)는 교통 혼합을 풍부하게 하고 자기 대결에서 대칭성을 깨는 데 도움을 줍니다.
훈련은 여러 GPU와 노드에 걸쳐 분산 데이터 병렬 처리를 사용합니다. 그래디언트는 모든 랭크에서 all-reduce되며, 주요 정규화 통계(어드밴티지, 값 재조정, 우선순위 샘플링)는 전역적으로 일관성을 유지합니다. 전체 스택은 벡터화 및 훈련 프레임워크인 PufferLib에서 실행됩니다.
주요 결과
TerraZero의 핵심 주장은 증거 없는 자기 대결을 통한 주행 정책 학습을 가능하게 한다는 것입니다. 정책은 지도 형상과 절차적으로 생성된 시나리오만을 사용하여 처음부터 학습하며, 인간의 주행 기록은 전혀 필요하지 않습니다. 이종 자기 대결 정책(시뮬레이션 에이전트라고 함)은 Waymo 지도 형상만을 사용하여 32개의 A100 GPU에서 훈련되었습니다.
이 시스템은 "객체 수준, 자기 대결이 가능한 주행 시뮬레이터 중 가장 높은 처리량"을 달성합니다. 논문이 정확한 수치적 처리량 비교를 제시하지는 않지만, 아키텍처가 시뮬레이션 속도와 시나리오 충실도 사이의 일반적인 긴장 관계를 해결한다고 강조합니다. 이전 시뮬레이터는 빠르지만 현실적인 교통 상호작용이 부족하거나, 기능이 풍부하지만 훨씬 느렸습니다.
전적으로 자기 대결을 통해 훈련함으로써 정책은 자동 커리큘럼에 노출됩니다: 정책이 개선됨에 따라 상호작용하는 교통도 비례적으로 더 유능해집니다. 이는 수동 시나리오 설계를 피하고 자율주행의 긴 꼬리 문제(long-tail problem)를 직접 해결합니다.
작동 원리
TerraZero는 CPU와 GPU 간에 작업을 분할합니다. 객체 수준 동역학, 관측 구성, 보상 계산, 신호등 논리는 C(CPython 확장으로 컴파일됨)에서 실행됩니다. 정책 추론과 학습은 GPU의 PyTorch에서 실행됩니다. 환경은 공유 메모리 버퍼를 통해 병렬 워커 프로세스에서 실행되며, 트레이너는 단일 장치 전송으로 전체 배치를 소비합니다.
절차적 시나리오 생성은 기록된 궤적과 지도 형상에서 시작됩니다. 각 에피소드에서 무작위화 메커니즘이 시드 시나리오를 확장합니다. - 에이전트 배치: 수와 위치가 무작위로 샘플링되며, 종종 원래 기록의 밀도를 초과합니다. - 목표 할당: 탐색 목표는 차선-토폴로지 그래프를 따라 전진 이동을 통해 샘플링되며, 강건한 행동을 장려하기 위해 구성 가능한 드롭아웃이 적용됩니다. - 행위자 다양화: 경계 상자 차원이 유형별 범위에서 샘플링되어 정책이 자동차, 트럭, 버스 등을 접하게 합니다. - 운동학적 파라미터 무작위화: 최대 속도, 최대 가속도, 최소 속도, 최소 가속도의 네 가지 계수가 에이전트당 에피소드당 샘플링되어 정책이 온라인으로 적응하도록 강제합니다.
분산 자기 대결은 데이터 병렬 처리를 사용합니다. 각 랭크는 자체 환경을 실행하고 로컬 그래디언트를 계산합니다. 정규화 통계(어드밴티지, PopArt 값 재조정, 공동 우선순위 샘플링)는 전역적으로 동기화되어 단일 일관된 척도를 유지합니다.
규칙 기반 NPC(예: 빨간불에 멈추는 차량, 횡단보도를 건너는 보행자)는 학습된 모델 없이 구조화된 행동을 제공하여 자기 대결 정책이 다양하고 현실적인 상호작용을 경험하도록 돕습니다.
로보틱스에 중요한 이유
자율주행은 구현된 AI에서 가장 어려운 도전 중 하나입니다. 전통적인 강화 학습 접근법은 수집 비용이 비싸고 드문 사건에 대한 범위가 제한된 인간 시연 데이터에 의존합니다. TerraZero는 충분히 풍부한 절차적 시뮬레이터와 결합된 자기 대결이 주행 기록 없이도 유능한 정책을 생성할 수 있음을 보여줍니다. 이는 자율주행차 소프트웨어를 개발하는 조직의 진입 장벽을 크게 낮춥니다.
또한 아키텍처는 모듈식입니다: 새로운 데이터셋을 지원하려면 공통 표현으로의 변환기만 있으면 됩니다. 이를 통해 TerraZero는 다양한 지리적 지역과 센서 구성에 적응할 수 있습니다.
더 넓은 로보틱스 커뮤니티를 위해 CPU/GPU 분할, 절차적 시나리오 생성, 동기화된 정규화를 통한 분산 자기 대결과 같은 기술은 창고 로봇이나 산업용 매니퓰레이터 등 시뮬레이션이 정책 학습에 사용되는 다른 영역으로 직접 이전될 수 있습니다. 시연 없이 훈련할 수 있는 능력은 인간의 원격 조작이 비실용적인 작업에서 특히 가치 있습니다.
한계 및 미해결 질문
TerraZero는 차선 수준 토폴로지, 신호등 위상 정보, 교차로 형상이 포함된 고화질 지도에 의존합니다. 이러한 지도가 없는 지역은 훈련이나 평가에 사용할 수 없어 지리적 확장성이 제한됩니다.
시뮬레이터는 객체 수준에서 작동합니다: 원시 센서 데이터가 아닌 실제 구조화된 특징을 제공합니다. 이는 TerraZero가 엔드투엔드 인식-제어 파이프라인을 직접 훈련할 수 없음을 의미합니다. 여기서 훈련된 정책은 여전히 카메라나 라이다 입력에서 정책이 기대하는 구조화된 특징으로의 간극을 메우기 위한 인식 스택이 필요합니다.
마지막으로 운동학적 파라미터 무작위화가 강건성을 향상시키지만, 물리적 차량 동역학(타이어 마찰, 서스펜션, 공기역학)에 대한 시뮬레이션-실제 간극은 여전히 해결되지 않은 과제입니다. 무작위화만으로는 그 간극을 완전히 메울 수 없습니다.
자주 묻는 질문
TerraZero는 훈련에 인간 주행 데이터가 필요한가요? 아니요. 시뮬레이션 에이전트는 지도 형상과 절차적으로 생성된 시나리오만을 사용하여 전적으로 자기 대결을 통해 훈련됩니다. 어떤 시연도 사용되지 않습니다.
TerraZero는 어떤 유형의 도로 사용자를 시뮬레이션할 수 있나요? 차량(자동차, 트럭, 버스), 보행자, 자전거를 각각의 동역학 모델로 시뮬레이션하며, 공유 정책에 의해 제어됩니다.
TerraZero는 어떻게 높은 시뮬레이션 처리량을 달성하나요? 작업을 신중하게 분할하여: 저렴하고 분기 많은 시뮬레이션 로직은 CPU의 C에서 실행되고, 밀집 텐서 수학은 GPU의 PyTorch에서 실행됩니다. 병렬 워커와 배치 전송이 둘 다 포화 상태를 유지합니다.
내 지도 데이터로 TerraZero를 사용할 수 있나요? 네. 현재 Waymo, nuPlan, CARLA를 지원하며, 새로운 데이터셋을 추가하려면 공통 바이너리 형식으로의 변환기만 있으면 됩니다.
결론
TerraZero는 빠르고 기능이 풍부한 절차적 시뮬레이터와 결합될 때 증거 없는 자기 대결이 유능한 주행 정책을 생성할 수 있음을 보여줍니다. 이 아키텍처는 시뮬레이션 속도와 시나리오 충실도 사이의 오랜 긴장 관계를 해결하여 의미 있는 규모의 훈련을 가능하게 합니다. 모듈식 설계와 다양한 교통 지원은 자율주행 연구 및 개발을 위한 실용적인 도구로 만듭니다.