비전-언어 모델은 네트워크로 연결된 자율 시스템에서 제로샷 시각 제어를 매력적인 선택지로 만들었다. 자연어 프롬프트를 입력하는 하나의 사전 학습 모델이 사람이 설계한 인식 및 계획 스택을 대체할 수 있다는 기대가 있다. 또한 동일한 모델을 온보드 가속기에서 실행할 수도 있고, 네트워크를 통해 호스팅 엔드포인트에 연결해 사용할 수도 있다. 이제 두 배포 방식 모두 현실적인 선택지가 되었으며, 어느 쪽을 택할지는 지연 시간, 에너지, 반복 비용을 함께 고려해야 하는 시스템 차원의 문제다.
하지만 이 시스템 차원의 문제에 앞서 거의 묻지 않는 질문이 하나 있다. 컨트롤러가 과연 카메라를 사용하기는 하는가?
우려는 구체적이다. 시뮬레이션 주행 벤치마크는 전진을 보상하고 충돌을 벌점으로 준다. 이런 환경에서는 항상 감속하는 정책도 최적에 가까운 성능을 내며, 인식은 전혀 필요하지 않다. VLM 컨트롤러가 거의 일정한 행동만 출력한다면, 종합 지표는 모델에 없는 능력까지 갖춘 것처럼 보고하게 된다. 그러면 엣지와 클라우드 중 어느 배포 방식을 택할지, 어떤 모델을 얼마의 비용으로 사용할지에 대한 결정이 모델이 아니라 시뮬레이터를 측정한 증거에 기반해 내려진다.
우리는 다음을 통해 이러한 실패 양상과 그 유용한 적용 범위를 모두 측정 가능하게 만들었다.
- 블라인드 대조군, 노이즈 바닥, 차선 축 반사, 기준 정책, 네 가지 파이프라인 무결성 검사를 포함한 입력 절제 배터리.
- 단일 종합 점수나 후단의 정교함만으로는 인식을 입증할 수 없다는 증거: 상수 출력이 스크립트보다 나은 성능을 보일 수 있으며, 시각적 의도는 MPC 계층을 더 높은 차원의 제어 목표에서 더 작은 목표 집합으로 줄인다.
- 단계적으로 구성된 능력 구조: 횡방향 기하를 제대로 처리하지 못하더라도 종방향 위험 인식은 회복할 수 있으며, 프롬프트 작성 방식에 따라 측정되는 그라운딩 수준이 크게 달라진다.
배경 및 관련 연구
온보드 추론은 지연 시간을 제한하고 데이터를 로컬에 보관할 수 있지만, 제한된 메모리와 에너지를 소모한다. 호스팅 추론은 더 큰 모델을 사용할 수 있는 대신 네트워크 지연, 반복 과금, 스택에 대한 통제력 저하를 감수해야 한다. 우리는 동일한 자극을 사용해 두 방식을 비교한다.
로컬 에너지는 직접 관측할 수 있지만, 호스팅 에너지는 API만으로 산출할 수 없다.
모델
구조화된 로컬 부문에서는 Qwen3-VL-8B, Gemma 4-12B, Qwen3.5-9B, Qwen2.5-VL-7B, Ministral 3-8B, MiniCPM-V-4.5를 사용한다. 기록된 Q4_K_M Ollama 0.32.5 빌드는 A100-80GB 한 대에서 순차적으로 실행된다.
사전 점검 단계에서는 모델마다 하나의 요청 모드를 고정한다. 정확한 다이제스트와 템플릿은 공개한다.
구성적 렌더러 보정 컨트롤러
구조화된 컨트롤러는 명시적인 자차 기준점과 차선 규약을 포함한 보정된 하향식 표현 위에서 작동한다. 공개된 시뮬레이터 프레임에 더해 범례를 추가한 뷰도 제공하며, 차선 축을 기준으로 장면을 반사해 대칭 일관성을 평가한다.
대칭 합의 종방향 가디언
완료된 로컬 호출을 사후 분석에 재사용하되, 정보 누출이 통제되도록 했다. 기존의 16프레임 사전 선별 집합은 6개 모델 중 2개와 4개의 위험 투표에 적용할 임계값을 선택한다. 두 모델은 원본 뷰와 반사 뷰를 각각 평가하며, 나머지 272개 프레임을 읽기 전에 두 선택을 모두 고정한다.
2–2 분할에서는 기권이 가능하다. 에피소드 클러스터 부트스트랩과 중첩된 leave-one-episode-out 테스트를 통해 불확실성과 선택 안정성을 측정한다.
오프라인 모듈형 리플레이에서는 VLM에 종방향 제어 권한만 부여하고, 결정론적 RGB 파서는 충돌 및 횡방향 여유 공간에 대한 권한을 계속 보유한다.
논의 및 결론
MPC 실험은 이 모듈형 전략의 경계를 분명히 보여준다. 성능이 충분한 저수준 옵티마이저는 유효한 기준 궤적을 정확히 실행하고 알려진 장애물 기하를 활용할 수 있다. 그러나 고수준의 시각적 의도에 없는 기하를 복원할 수는 없다.
따라서 후단에 MPC를 추가하면 그라운딩이 향상되는 것이 아니라 추적 성능만 좋아진다. VLM의 지시가 붕괴되었거나 한쪽으로 치우쳐 있다면, 최적화 이후에도 그대로 붕괴된 상태로 남는다.
이에 따른 적절한 아키텍처적 결론은 VLM을 배제하는 것이 아니라, 독립적으로 검증할 수 있는 능력으로 권한을 제한하라는 것이다. 현재 설정에서 VLM은 선택적 종방향 위험 모니터로 활용할 때 가장 신뢰할 만하다. 반면 계측 기하, 제약 조건 적용, 작동기 제어는 결정론적이거나 그 밖에 검증 가능한 구성 요소가 담당해야 한다.
코드 이용 가능성
모든 코드, 데이터, 실험 산출물은 VLControl 저장소에서 공개적으로 이용할 수 있다. 저장소에는 입력 절제 배터리, 구조화된 로컬 컨트롤러, MPC 실험, 대칭 합의 가디언을 포함한 전체 평가 파이프라인이 들어 있다.
자주 묻는 질문
이 연구가 비전-언어 컨트롤러에 관해 던지는 핵심 질문은 무엇인가? 컨트롤러가 단지 유리한 종합 제어 지표를 얻는 것이 아니라, 실제로 카메라를 사용하는지를 묻는다.
시뮬레이션 주행 벤치마크에서 상수 행동 정책이 유능해 보일 수 있는 이유는 무엇인가? 전진은 보상하고 충돌은 벌점으로 주기 때문이다. 항상 감속하는 정책도 인식을 사용하지 않고 최적에 가까운 성능을 낼 수 있다.
MPC 구성 요소는 어떤 역할을 하는가? MPC는 유효한 시각적 의도의 추적 성능을 높이지만, 고수준 VLM 지시에 없는 기하를 복원할 수는 없다.
이 설정에서 VLM이 가장 신뢰할 만하다고 평가되는 능력은 무엇인가? 선택적 종방향 위험 모니터로서 가장 신뢰할 만하다. 기하, 제약 조건, 작동기 제어는 결정론적이거나 검증 가능한 구성 요소가 맡는다.