본 연구에서는 ORION과 같은 아키텍처로 구현된 대표적인 비전-언어-행동(vision-language-action, VLA) 설계 패러다임을 대상으로 이 질문을 살펴본다. 이 구조에서는 궤적 공간 로짓 렌즈를 통해 질문을 명확히 분석할 수 있다. 모델은 전체 계획을 계획 토큰(planning token)이라 부르는 하나의 은닉 상태로 압축하고, 생성형 플래너가 이를 디코딩해 미래 웨이포인트를 생성한다. 이 벡터가 언어 추론과 행동을 잇는 유일한 인터페이스이므로, 디코더의 어느 지점에서 플래너가 필요로 하는 정보가 갖춰지는지 정확히 물을 수 있다.
우리 방법은 모든 중간 레이어에서 계획 토큰을 추출한 뒤, 모델의 네이티브 플래너로 디코딩하고 그 결과 궤적을 평가한다. 이는 로짓 렌즈를 궤적 공간으로 확장한 방식이다. 학습된 별도 리드아웃이 특정 레이어에 어떤 정보를 담을 수 있는지를 측정하는 대신, 모델 자체의 다운스트림 모듈이 각 레이어의 표현을 어떻게 해석하는지를 묻는다. 궤적과 함께 선형 프로브를 사용해 이산적인 내비게이션 의도도 읽어 낸다.
실험 결과, 의미적 의도와 네이티브 플래너 호환성은 깊이에 따라 서로 다른 양상으로 형성되는 것으로 나타났다. 내비게이션 명령은 디코더의 첫 블록부터 선형적으로 디코딩할 수 있으며, 해당 명령이 텍스트 입력으로 모델에 제공된 적이 없는데도 네트워크 전반에서 높은 디코딩 가능성을 유지한다. 반면 동일한 중간 계획 토큰은 고정된 네이티브 플래너와 점점 더 잘 호환되며, 궤적 오차는 최종 은닉 상태에서 가장 낮아진다. 레이어 1에서 학습한 리드아웃은 이 격차의 상당 부분을 회복한다. 이는 고정 플래너 곡선을 기하 정보가 처음 출현하는 시점이 아니라 표현과 플래너의 호환성을 나타내는 척도로 해석해야 함을 보여 준다. 또한 다섯 가지 Bench2Drive 능력 범주에 걸쳐 분석을 확장했으며, 플래너 호환성의 발전 양상은 일관되게 나타났다.
깊이별 진단은 가지치기 실험의 동기도 제공한다. 계획 토큰을 거의 회전시키지 않는 레이어는, 해당 레이어의 네이티브 플래너 단독 디코딩 성능이 낮더라도 제거할 수 있다. 우리는 계획 토큰에 유도된 각도 편차를 기준으로 레이어의 순위를 매기고, 디코더를 가지치기해 정확도-지연 시간 프런티어를 추적했다. 이때 물리적으로 짧아진 디코더의 실제 벽시계 시간도 함께 측정했으며, 오차를 능력 범주별로 분해했다. 평가한 샘플 규모에서는 특정 범주에 국한된 성능 저하가 통계적으로 유의하게 확인되지 않았다.
기여점
- 배포된 고정 플래너와 중간 계획 토큰 표현의 호환성이 어떻게 형성되는지를 측정하는 궤적 공간 기반 네이티브 헤드 렌즈와, 내비게이션 의도를 분석하는 선형 프로브를 제안한다.
- 다섯 가지 Bench2Drive 능력 범주에 걸친 깊이별 분석을 수행해, 평가한 ORION 체크포인트에서 명령이 초기에 선형적으로 디코딩되며 플래너 호환성이 일관된 양상으로 발전함을 보인다.
- 계획 토큰의 입출력 코사인 유사도가 중간 표현의 단독 디코딩 성능보다 더 나은 제거 기준임을 보이는 가지치기 연구를 수행했다. 약 5%의 상대적 오픈 루프 오차 증가 범위에서 32개 레이어 중 8개를 제거할 수 있었으며, 실제 측정된 디코더 1.33배 속도 향상을 얻었다.
의도와 플래너 호환성은 어디에서 형성되는가
계획 토큰에는 서로 다른 깊이에서 이용 가능해지는 두 종류의 정보가 담긴다. 추가된 계획 토큰이 아직 문맥과 무관한 은닉 상태 0에서는 명령 프로브의 성능이 무작위 추측 수준이다. 첫 번째 디코더 블록을 거치면 정확도가 97.7%까지 상승하고, 이후 98.6%에서 최고점에 도달한다. 명령이 프롬프트에 제공되지 않았다는 점을 고려하면, 이는 멀티모달 문맥과 상호작용한 뒤 명령 관련 구조를 선형적으로 읽어 낼 수 있게 된다는 뜻이다.
자주 묻는 질문
계획 토큰이란 무엇인가? 계획 토큰은 모델이 전체 계획을 하나의 은닉 상태로 압축한 것으로, 생성형 플래너가 이를 디코딩해 미래 웨이포인트를 생성한다.
중간 레이어의 플래너 호환성은 어떻게 측정하는가? 모든 중간 레이어에서 계획 토큰을 추출해 모델의 네이티브 플래너로 디코딩한 다음, 생성된 궤적을 평가한다.
내비게이션 의도는 언제 선형적으로 디코딩할 수 있는가? 첫 번째 디코더 블록 이후 선형적으로 디코딩할 수 있으며, 이때 정확도는 97.7%까지 상승하고 이후 98.6%에서 최고점에 도달한다.
가지치기 실험에서 디코더 레이어를 몇 개까지 제거할 수 있는가? 상대적 오픈 루프 오차가 약 5% 증가하는 범위에서 32개 중 8개 레이어를 제거할 수 있으며, 실제 측정된 디코더 1.33배 속도 향상을 얻는다.