이 인터페이스를 기반으로, 소형 비전-언어 모델 백본과 토큰 기반 출력만 사용하는 엔드투엔드 시스템을 구축했다. 자동화된 이중 채널 주석 파이프라인은 내비게이션 목표를 하나의 공유 포인팅 공간에 투영한다. 시간 정보를 반영한 시각 이력 압축은 제한된 시각 토큰 예산 안에서 최근 장면의 세부 정보와 장기 맥락을 함께 보존한다. RVQ 기반 행동 토크나이저는 단기 궤적을 언어 모델 토큰으로 변환하고, 실행 계층은 이를 로봇 플랫폼별 제어 명령으로 매핑한다. 체화 추론 중간 학습, DAgger를 활용한 지도 미세 조정, 온라인 강화 학습을 단계적으로 적용해 인식·추론·제어를 정렬한다.
LightNav-0은 지시 따르기형 비전-언어 내비게이션, 객체 목표 내비게이션, 체화 시각 추적을 아우르는 10개 공개 내비게이션 시뮬레이션 환경에서 평가되었다. 포인팅 및 공간 VQA 평가를 추가해 내비게이션 적응 과정에서도 VLM 본래의 공간 그라운딩 능력이 유지되는지 검증했다. 실제 환경 시연에서는 서로 다른 로봇 형태, 야외 장면, 동적 목표로의 전이를 추가로 살펴보았다. 이 실험들은 다음과 같은 핵심 가설을 뒷받침한다. 소형 VLM 백본은 과제와 로봇 형태를 넘어 전이 가능한 통합 내비게이션 기반이 될 수 있다.
언어적·시각적 사고 연쇄
LightNav-0은 고정 길이 추적 과정 안에서 명시적 추론과 시각적 그라운딩을 결합한다. 이중 채널 포인팅 프리픽스는 실행 가능한 국소 이동을 위한 어포던스 지점과 목표 객체 또는 목표 위치를 위한 객체 지점을 예측한다. 두 지점은 채널별 이미지 그리드 토큰으로 표현되며, 백본이 사전 학습을 통해 습득한 공간 그라운딩 능력을 대체하지 않고 활용한다. 동일한 표현은 지시 따르기형 비전-언어 내비게이션, 오픈 보캐뷸러리 객체 내비게이션, 체화 시각 추적을 모두 지원한다.
프리픽스는 행동과 동일한 토큰 공간에서 지도 학습되며, 의사결정마다 일정한 수의 토큰만 사용한다. 따라서 자유 형식의 텍스트 숙고나 별도의 계획 시스템에서 발생하는 가변 디코딩 지연 없이, 명시적 추론 단계가 제공하는 해석 가능성을 유지할 수 있다.
강화 학습 후학습
강화 학습은 대규모 분산 온폴리시 학습과 이를 계승한 트랜스포머 규모의 후속 연구부터, 모방 사전 학습 후 강화 학습 미세 조정에 이르기까지 체화 내비게이션에서 오랫동안 모방 학습을 보완해 왔다. 그러나 기존 정책은 특정 과제에 맞춰 설계되고 소수의 이산 원시 행동으로 작동하므로 행동 확률을 즉시 계산할 수 있고 롤아웃 비용도 낮다. 정책이 범용 비전-언어-행동 모델로 확장되면 이 두 가지 특성은 더 이상 자동으로 보장되지 않는다.
연속 행동 헤드를 추가하면 정밀도는 회복할 수 있지만, 그만큼의 특성은 잃게 된다. 따라서 SimpleVLA-RL은 자기회귀 정책을 유지하면서 결과에 대한 보상만 제공한다. 반면 플로 기반 정책은 정책 경사를 적용하기 전에 먼저 디노이징 과정을 마르코프 의사결정 과정으로 재구성해야 한다.
통합 자기회귀 목적 함수
내비게이션 예시와 보조 VQA 예시는 동일한 인과 언어 모델 목적 함수로 학습된다.
모델은 입력 맥락을 조건으로 주어진 지도 출력 토큰의 음의 로그 가능도를 최소화한다.
학습 및 추론 효율
간결한 순수 자기회귀 인터페이스를 사용하므로 모든 샘플을 공통 최대 길이에 맞춰 패딩하지 않고도 길이가 서로 다른 샘플을 묶을 수 있다. 학습 시퀀스 하나는 8,192개 토큰 안에 약 8.6개의 샘플을 동적으로 패킹한다.
융합된 비전 rotary-position-embedding 연산과 8의 배수에 맞춘 LM 헤드 차원은 커널 및 메모리 오버헤드를 추가로 줄인다. 모델에 과제별 행동 모듈이 없기 때문에 이러한 최적화는 모든 과제에 동일하게 적용된다.
체화 추론 데이터
11개의 단일 이미지 VQA 데이터 소스가 인덱스 기반 지도 신호를 제공한다. 독립적인 세 컬렉션은 SenseNova-SI Spatial, CLEVR Spatial VQA, SAT Spatial VQA다. 나머지 8개는 VSTP-SI Depth Comparison, VSTP-SI Distance, VSTP-SI Scene Caption, VSTP-SI Measurement, VSTP-MI Correspondence, VSTP-MI Object–Object Relation, VSTP-MI Camera Motion, VSTP-MI Scene Caption이다.
이 데이터의 질문은 상대적 위치, 계량적 깊이와 거리, 객체 간 관계, 카메라 움직임, 물리적 측정, 장면 묘사, 어포던스 중심 추론을 다룬다. 이러한 구성은 모델이 왼쪽/오른쪽, 앞/뒤와 같은 정성적 관계뿐 아니라, 통행 가능한 빈 공간과 시각적으로는 그럴듯하지만 기하학적으로는 유효하지 않은 목표를 구분하는 데 필요한 정량적 단서도 복원하도록 학습한다.
내비게이션 데이터
지시 따르기 데이터 혼합에는 R2R과 RxR의 카메라 위치를 무작위화한 전문가 궤적, 자기 증류 경로, ScaleVLN 데이터가 포함된다. 합성 데이터와 자기 증류 데이터는 인간 주석 코퍼스만 사용할 때보다 장면과 지시의 다양성을 크게 넓혀 준다.
전문가 경로, 합성 경로, 자기 증류 경로를 함께 사용함으로써 모델은 세밀한 언어 정렬과 대규모 기하학적 변이를 모두 경험한다.
평가 벤치마크
내비게이션 평가는 세 가지 과제군에 걸친 10개 시뮬레이션 환경으로 구성된다. 연속적인 지시 따르기는 R2R과 RxR의 validation-unseen 분할에서 측정한다. 폐쇄형 보캐뷸러리 ObjectNav는 MP3D와 HM3D v1/v2에서 평가하고, 오픈 보캐뷸러리 일반화는 HM3D-OVON에서 측정한다. 체화 시각 추적은 EVT-Bench의 STT 및 DT 설정에서 평가한다.
모든 내비게이션 벤치마크에는 벤치마크별 미세 조정 없이 동일한 체크포인트를 사용한다.
INSIGHT-Bench
INSIGHT-Bench는 이기종 메시 기반 환경과 3D Gaussian splatting 환경으로 데이터 분포를 확장한다. 1,683개 장면과 53,090개 학습 에피소드, 210개 장면과 1,097개 평가 에피소드로 구성된다. 두 분할의 데이터 출처 구성은 논문에 자세히 제시되어 있다.
체화 추론 중간 학습
전문화만 진행하면 백본에서 물려받은 일반 시각-언어 능력이 좁아질 수 있다. 이에 따라 전문화 후 보존(specialize-then-retain) 커리큘럼을 채택했다. 이후 지도 학습 단계에서는 재균형한 체화 추론 데이터 혼합을 내비게이션 데이터와 함께 반복 학습한다.
이 두 번째 단계는 체화 추론 중간 학습에서 습득한 포인팅, 그라운딩, 공간 추론 능력을 보존하는 동시에 체화 행동 생성에 맞춰 정렬한다. 그 결과, 과제 간 내비게이션 지도 신호를 도입하기 전에 공통적인 지각 및 추론 기반을 마련할 수 있다.
도메인 간 및 실제 환경 일반화
통합 공간 인터페이스는 학습에 사용한 시뮬레이션 도메인을 넘어 정성적으로 평가되었다. 이 시연에는 도메인별 미세 조정 없이 동일한 LightNav-0 체크포인트를 사용했다.
가상 환경과 실제 환경은 표준화된 행동 공간이나 성공 판정 프로토콜을 공유하지 않으므로, 이러한 롤아웃은 정량적 벤치마크 비교가 아니라 전이 범위의 폭을 평가한다.
스케일링 분석
스케일링 양상은 모델 용량, 데이터 규모, 환경 범위에 따라 서로 다르게 나타난다.
백본을 2B에서 4B로 키우면 R2R 성공률과 성공 가중 경로 길이는 59.9/55.4에서 68.5/62.8로, RxR 성공률과 성공 가중 경로 길이는 64.0/57.9에서 73.6/64.5로 상승한다. 이는 네 가지 지표에서 6.6~9.6포인트의 향상에 해당한다.
8B까지 확장한다고 해서 일관되게 성능이 좋아지는 것은 아니다. R2R 성공률과 성공 가중 경로 길이는 각각 1.6/0.5포인트 감소하고, RxR 성공률은 0.5포인트 감소한다. 다만 RxR 성공 가중 경로 길이는 2.0포인트 증가한다. 따라서 시험한 체크포인트 중에서는 4B 모델이 용량과 성능의 균형이 가장 뛰어나다. 8B에서 결과가 엇갈린다는 점은 이 규모에서 파라미터 수만 늘린다고 내비게이션 성능이 반드시 향상되는 것은 아님을 보여준다.
데이터 규모를 키우면 개선 폭은 점차 줄어들지만 단조롭게 성능이 향상된다. 학습 데이터 비율을 1/16에서 전체 데이터로 늘리면 R2R 성공률과 성공 가중 경로 길이는 53.0/47.1에서 68.5/62.8로, RxR 성공률과 성공 가중 경로 길이는 56.2/49.5에서 73.6/64.5로 상승한다. 이는 15.0~17.4포인트의 향상이다.
이러한 향상의 대부분은 마지막 두 배 확장 이전에 얻어진다. 데이터 비율을 1/2에서 전체로 늘렸을 때 R2R에서는 0.8/0.9포인트, RxR에서는 1.4/0.4포인트만 추가로 향상된다. 즉, 시험한 범위에서는 학습 데이터를 더 투입할수록 여전히 이득이 있지만, 학습 세트가 전체 규모에 가까워질수록 한계 수익은 감소한다.
결론
이 프레임워크는 여러 방향으로 확장할 수 있다. 첫째, 현재 모델은 단일 의사결정 경로를 사용하며 고주파 국소 제어와 더 느린 의미적 숙고를 명시적으로 분리하지 않는다. 이중 시스템을 구성하면 장애물 회피와 잦은 궤적 보정을 담당하는 경량 반응형 정책과 장기 추론을 담당하는 느린 VLM 플래너를 결합할 수 있다.
둘째, 인터넷 규모의 비디오를 활용한 더욱 강력한 사전 학습은 오픈월드 개념의 범위를 넓히고, 선별된 체화 데이터셋만으로는 접하기 어려운 희귀한 장면·상호작용·동작 패턴을 모델에 제공할 수 있다.
기여자 및 감사의 글
- 학습 인프라: Qianli Ma, Ran Mei, Jia Wei
- 데이터 인프라: Fei Huang, Shaoan Wang, Jingyi Xu, Yueyu Wang, Aocheng Luo
- 중간 학습: Shaoan Wang, Fan Yang
- 지도 미세 조정: Shaoan Wang, Aocheng Luo
- 후학습: Aocheng Luo, Shaoan Wang
- 벤치마크: Fei Huang, Shaoan Wang, Jingyi Xu, Yueyu Wang
- 실제 환경 배포: Xiaoyang Wang, Jiangpeng Hu, Xuhao Liu, Hongming Chen, Yuanbin Shao, Yiyang Lin, Ziliang Li
- 집필: Shaoan Wang, Tingxiang Fan, Aocheng Luo, Fei Huang, Liang Pan, Xinhang Liu, Yuntao Ma
- 프로젝트 책임자: Tingxiang Fan, Shaoan Wang
저자들은 초기 인프라와 기술 탐색에 기여한 Bo Liang, Yuxuan Xie, Jiaxin Li, Tianwei Zhang에게 감사의 뜻을 전한다. 또한 실제 환경 영상을 촬영하고 편집한 Shiyao Zhang과 Shuqi Liao, 표지를 디자인한 Kaisong Chen에게도 감사한다.
저자들은 실제 로봇 배포와 시뮬레이션 전반에서 지원해 준 LimX Dynamics 및 Manycore Tech의 협력자들에게 감사한다.
자주 묻는 질문
LightNav-0은 무엇을 위해 설계되었나요? LightNav-0은 과제와 로봇 형태를 넘어 지시 따르기, 객체 목표 내비게이션, 체화 시각 추적을 수행하는 범용 내비게이션 시스템이다.
LightNav-0은 내비게이션 목표를 어떻게 표현하나요? 어포던스 지점과 객체 지점을 분리해 표현하는 이중 채널 포인팅 프리픽스를 사용하며, 두 지점은 채널별 이미지 그리드 토큰으로 나타낸다.
시스템 평가에는 어떤 벤치마크가 사용되나요? 평가는 지시 따르기형 내비게이션, 폐쇄형 및 오픈 보캐뷸러리 ObjectNav, 체화 시각 추적을 아우르는 10개 시뮬레이션 환경에서 진행된다.
용량과 성능의 균형이 가장 뛰어난 모델 크기는 무엇인가요? 시험한 체크포인트 중에서는 4B 모델이 용량과 성능의 균형이 가장 뛰어나다.