본 논문에서는 단일 자율주행 정책을 위한 주행 계획 정합 작업 메모리 프레임워크인 COMPACT-VA를 제시한다. 조건부 VQ-VAE를 통해 압축과 궤적 예측을 결합함으로써, 통합 VA/VLA 정책이 명시적 메모리 메커니즘을 갖추지 못하거나 의사 결정 관련 이력을 보존할 수 없는 규칙 기반 압축에 의존하는 근본적 한계를 해결한다. 메모리 집약적 정지 신호 제어 시나리오에 대한 체계적 평가를 통해, 주행 계획 정합 압축이 실시간 토큰 예산을 유지하면서 의사 결정 정확도를 크게 향상시킴을 입증한다.
통합 비전-행동 모델 백본
본 접근법은 Alpamayo의 통합 비전-행동(VA) 정책 변형을 기반으로 하며, 세 가지 핵심 구성 요소로 이루어진다: 다중 카메라 관측을 시각 토큰으로 처리하는 비전 인코더, 텍스트 명령 없이 시간적 추론을 수행하는 트랜스포머 백본, 그리고 미래 차량 움직임을 생성하는 궤적 디코더.
이 통합 아키텍처는 명시적 중간 모듈을 제거하지만, 시퀀스 길이는 컨텍스트 길이에 따라 선형적으로 증가한다. 확장된 시간적 컨텍스트가 필요한 복잡한 주행 시나리오에서는 토큰 수가 크게 늘어나 일반적인 VLM 컨텍스트 윈도우를 쉽게 초과한다. 효과적인 압축 없이는 2차 트랜스포머 어텐션 비용 O(T²d)이 실제 배포에 적합하지 않게 된다.
메모리 의존적 주행 시나리오 및 평가 프레임워크
본 연구는 확장된 과거 컨텍스트가 올바른 행동을 결정하는 데 특히 중요한 역할을 하는 시나리오에 초점을 맞춘다. 기존 연구에 따르면, 중요한 주행 결정은 일반적으로 1-2초만 처리하는 표준 주행 정책에 비해 확장된 컨텍스트에 해당하는 5-10초 시간 윈도우 내에서 포착된 행동 신호에 의존하며, 이는 전체 경로에 걸친 장기 공간 메모리가 필요한 내비게이션 작업과는 구별된다. 본 연구는 확장된 컨텍스트가 행동 정확성을 결정하는 고신호 동적 시나리오를 식별하고, 단순한 궤적 변위를 넘어 의사 결정 중심 결과에 대한 지표를 설계한다.
정지 신호 제어 교차로를 메모리 테스트베드로
확장된 과거 컨텍스트가 두드러진 역할을 하는 세 가지 시나리오 클래스를 식별한다: (1) 도착 순서에 따라 우선권 협상이 필요한 4방향 정지, (2) 동적 교차 교통 평가가 필요한 정지/양보 표지판, (3) 간격 수용 결정이 필요한 무보호 좌회전. 이들은 모두 올바른 행동이 궤적의 부드러움보다는 이산적 의사 결정 정확성, 즉 필요할 때 정차하고 적절할 때 진행하는지에 달려 있다는 공통된 특징을 공유한다.
4방향 정지 교차로. 여러 차량이 모든 접근로에 전방위 표지판이 있는 교차로에 도착한다. 우선권은 도착 순서에 따르며, 수 초 전에 도착한 차량을 추적해야 한다. 자차량은 이 시간적 대기열에서 자신의 위치를 파악해야 한다. 모델은 도착 시간 정보를 5-10초 전까지 유지하여 양보 순서를 올바르게 추론하고 우선권을 얻었을 때 신속히 진행해야 한다.
동적 폐색이 있는 정지/양보. 자차량이 교차로에 접근함에 따라 이전에 보이던 참가자가 폐색되거나 시야에서 사라질 수 있다. 모델은 현재 보이는 객체에만 의존하지 않고 수 초 전에 관찰된 상태를 유지하여 폐색된 교차로를 잘못 판단하는 것을 방지해야 한다.
무보호 좌회전. 자차량이 보호 신호 없이 반대 방향 교통을 가로질러 회전한다. 수 초 전에 관찰된 반대 방향 차량이 양보하기 위해 감속하기 시작하거나 속도를 유지하여 자차량이 정차하고 안전한 간격을 기다려야 할 수 있다. 반대 방향 차량의 궤적을 수 초간 추적하지 않으면 모델은 반대 방향 교통으로 회전하거나 불필요하게 기다릴 위험이 있다.
이 세 가지 시나리오 클래스는 주행에서 핵심 의사 결정 과제를 포괄한다. 기존 분석에 따르면, 여기서 테스트되는 기본 기술, 즉 간격 수용 오류, 우선권 협상 오류, 정차 행동 오류는 교차로 충돌의 약 40%를 차지한다.
전체 성능
본 연구는 Go 성공률을 주요 지표로 우선시한다. 이는 모델이 언제 진행할지를 결정하기 위해 효과적인 메모리를 유지하는지 직접적으로 테스트하며, 교차 교통 패턴과 우선권을 평가하기 위해 장기 메모리가 필요하기 때문이다. 반면, 정지 성공률은 중요하지만, 확장된 메모리 없이 즉각적인 감속 추세를 관찰함으로써 반사적으로 달성될 수 있는 경우가 많다.
표준 Alpamayo는 이미 경쟁력 있는 성능(63.8% Go SR)을 달성하여 아키텍처의 효과를 입증한다. 긴 이력의 희소 관측(62.0%)은 성능이 낮아, 지나치게 희소한 샘플링이 중요한 중간 프레임을 폐기하여 오히려 성능을 저하시킴을 보여준다. 놀랍게도, 전체 이력을 포함한 밀집 관측(61.9%)은 40개 프레임 모두에 접근함에도 불구하고 최악의 성능을 보여, 무분별한 토큰 과잉이 모델을 혼란스럽게 하고 6400개 토큰에 대한 2차 어텐션 비용이 시간적 추론을 방해함을 시사한다. 주행 계획 정합 없이 학습된 계층적 압축(65.6%)은 Alpamayo보다 개선되어, 구조화된 압축이 의사 결정 관련 정보를 유지함을 검증한다.
결론
본 연구는 단일 자율주행 정책을 위한 주행 계획 정합 작업 메모리 프레임워크인 COMPACT-VA를 제시한다. 조건부 VQ-VAE를 통해 압축과 궤적 예측을 결합함으로써, 통합 VA/VLA 정책이 명시적 메모리 메커니즘을 갖추지 못하거나 의사 결정 관련 이력을 보존할 수 없는 규칙 기반 압축에 의존하는 근본적 한계를 해결한다. 메모리 집약적 정지 신호 제어 시나리오에 대한 체계적 평가를 통해, 주행 계획 정합 압축이 실시간 토큰 예산을 유지하면서 의사 결정 정확도를 크게 향상시킴을 입증한다. 제한된 컨텍스트 윈도우를 가진 작업 메모리 접근법은 중요한 결정이 일반적으로 5-10초 이내의 행동 신호에 의존하는 주행에 잘 부합한다. 본 연구가 VA/VLA 정책을 위한 효과적인 메모리 분야를 발전시켜, 작업 인식 작업 메모리가 다양한 시나리오에서 추론의 핵심임을 입증하기를 기대한다.
향후 연구: 일반 주행 시나리오에서의 이득은 modest하지만, 예비 관찰 결과 큰 이득이 예상되는 심각한 폐색이나 다수 경쟁자가 있는 더 높은 복잡성 시나리오, 순환 메모리 메커니즘, 상태 공간 모델과 같은 대체 효율적 아키텍처를 탐구하여 주행 계획 정합 압축을 더 넓은 임베디드 AI 영역으로 확장할 수 있다.
자주 묻는 질문
COMPACT-VA는 어떤 문제를 해결하나요? COMPACT-VA는 명시적 메모리가 없거나 확장된 시간적 컨텍스트에서 의사 결정 관련 이력을 폐기하는 규칙 기반 압축을 사용하는 통합 자율주행 정책의 문제를 해결합니다.
주행 계획 정합 압축은 어떻게 작동하나요? 조건부 VQ-VAE를 사용하여 토큰 압축과 궤적 예측을 결합하여, 압축된 토큰이 단순한 재구성 오류 최소화보다는 미래 주행 결정에 가장 관련 있는 정보를 유지하도록 보장합니다.
이 접근법이 가장 큰 이점을 제공하는 주행 시나리오는 무엇인가요? 정지 신호 제어 교차로(4방향 정지, 폐색이 있는 정지/양보, 무보호 좌회전 포함)는 올바른 행동이 5-10초 전의 사건을 기억하는 데 의존하기 때문에 상당한 성능 향상을 보입니다.
COMPACT-VA는 밀집 관측 기준선과 어떻게 비교되나요? COMPACT-VA는 희소 샘플링과 밀집 전체 이력 기준선을 모두 능가하며, 실시간 배포에 적합한 제한된 토큰 예산을 유지하면서 주요 의사 결정 정확도 지표인 Go 성공률을 더 높입니다.