멀티모달 시각 주행 가능성 모델로 화성에서 운전 배우기 (2026)

서론

딥러닝은 주행 경험에서 지형에 따른 영향을 직접 학습할 수 있는 가능성을 제시한다. 최근에는 가속도와 같은 고유수용성 신호를 활용해 시각 기반 지형 모델의 학습 신호를 생성하고, 지상 로봇의 주행 가능성을 지도 및 자기지도 방식으로 추정하려는 연구가 활발히 진행되고 있다. 더 나아가 사전학습된 시각 표현과 시각 파운데이션 모델은 시각적으로 다양한 환경에서도 유망한 전이 성능을 보여 주며, 주행 가능성 표현을 학습하는 데 필요한 과업별 데이터의 양을 줄이고 있다. 이러한 발전은 로버의 주행 원격 계측 데이터와 고유수용성 정보가 기존의 기하학적 위험도 라벨을 넘어 지형 적합성에 관한 유용한 라벨을 제공할 수 있음을 시사한다.

그러나 행성 로봇 분야에는 주행 경험과 주행 가능성 학습에 필요한 멀티모달 관측을 직접 연결하는 대규모 데이터셋이 부족하다. 지금까지 화성 관련 데이터셋은 주로 시각적 의미 분할이나 지형 분류에 초점을 맞춰 왔다. 예를 들어 AI4MARS는 Spirit, Opportunity, Curiosity 로버가 수집한 영상에 대해 수십만 개의 의미 분할 라벨을 제공한다. 이러한 주석은 시각적 지형의 외관에 관한 귀중한 정보를 제공하지만, 6륜 로버가 지형과 물리적으로 어떻게 상호작용했는지를 직접 나타내지는 않는다.

본 연구는 Perseverance의 약 500솔에 걸친 표면 이동 작업에서 대규모 데이터셋을 구축한다. 이 데이터셋은 로버의 자세, 관성 측정값, 로커-보기 구성, 추정 슬립 및 기울기 값과 함께 내비게이션 카메라(NavCam)의 흑백 스테레오 관측을 제공한다. 즉, 로버가 무엇을 관측했고 지형에 어떻게 반응했는지를 함께 기록한 멀티모달 데이터다. 특히 데이터셋에 포함된 궤적은 인위적으로 생성된 것이 아니다. 실제 궤적은 인간 Rover Planner의 의사결정과 탑재 소프트웨어인 ENav의 실행이 결합되어 만들어졌다. 따라서 이 데이터는 실제 행성 탐사에서 마주한 지형, 차량 상태, 주행 조건의 분포를 담고 있다.

본 연구는 이 데이터셋을 바탕으로 지구 밖 주행 경험을 활용해 시각적 지형 주행 가능성 표현을 학습할 수 있는지 살펴본다. 전이 가능한 특징을 추출하기 위해 시각 파운데이션 모델을 활용하고, 로버의 고유수용성 데이터에서 얻은 학습 신호로 주행 가능성 추정기를 학습한다. 이후 학습된 표현을 주행 가능성 맵으로 변환해 기존의 스테레오 기반 플래너인 ENav에 통합한다. 이 접근법은 기하학 기반 자율주행 스택을 대체하는 대신, 학습된 지형 평가 기능으로 보강한다.

완성된 시스템은 화성의 Perseverance와 중량 및 이동 특성이 일치하는 지구 유사 로버 플랫폼에서 검증된다. 이를 통해 화성 주행 데이터에서 학습한 정보가 폐루프 환경에서의 내비게이션을 실제로 향상할 수 있는지 물리적으로 평가한다.

본 연구의 기여는 세 가지다.

Mars 2020(M2020) Perseverance 로버에서 수집한 500솔 규모의 멀티모달 주행 데이터셋을 제시한다. 동기화된 스테레오 영상, 자세, 관성 측정값, 로커-보기 각도, 기울기 및 슬립 추정값을 포함한다.
사전학습된 시각 파운데이션 모델과 로버 주행 경험을 활용해 시각 관측으로부터 지형 주행 가능성을 추정하는 대조 학습 프레임워크를 제시한다.
학습된 주행 가능성 표현을 ENav 플래너와 폐루프 방식으로 통합하고, 이를 지구 유사 로버에서 시연한다.

데이터셋과 제안된 학습 프레임워크는 행성 로버의 운용 데이터와 최신 딥러닝 기반 내비게이션을 연결한다. 이를 통해 향후 자율 행성 탐사와 내비게이션 연구를 위한 기반을 마련한다.

학습 기반 지형 주행 가능성

이러한 접근법은 로버의 이동성에 따라 지형을 수작업으로 라벨링하기 어려운 행성 로봇 분야에서 특히 중요하다. Perseverance의 주행 로그는 이러한 학습 신호를 자연스럽게 제공한다. 시각 관측을 로버의 실제 움직임, 관성 반응, 차량 구성, 추정 슬립과 연결할 수 있기 때문이다. 이에 따라 주행 가능성을 일반적인 의미론적 지형 범주가 아니라 실제 로버가 지형에 보인 행동 반응으로 정의할 수 있다. 본 연구는 수백 솔에 걸쳐 수집된 실제 행성 주행 데이터로 경험 기반 주행 가능성 학습을 확장한다.

내비게이션을 위한 시각 파운데이션 모델

본 연구는 내비게이션에 시각 파운데이션 모델을 활용하려는 최근의 흐름을 따르면서, 지구 밖 환경이 지닌 시각적 도메인 차이에도 대응한다. 단순히 사전학습된 표현에 의존하는 대신, Perseverance의 주행 경험을 활용해 시각 특징을 로버 특유의 주행 가능성 개념에 맞게 조정한다. 파운데이션 모델의 표현력과 장기간에 걸친 행성 주행 데이터를 결합함으로써, 지구 기반 사전학습 모델이 가진 폭넓은 시각 지식을 가져오는 동시에 그 예측을 실제 로버-지형 상호작용에 기반한 결과로 만들 수 있다.

모델 아키텍처

탑재된 모델은 다음 세 요소로 이해할 수 있다.

사전학습되고 가중치가 고정된 DINOv2 ViT-L/14 인코더.
슬립에 따라 정렬된 공간을 생성하는 500만 개 파라미터 규모의 학습형 트랜스포머 디코더.
분위수 예측을 담당하는 2층 다층 퍼셉트론(MLP) 헤드.

주행 가능성 예측

데이터셋의 슬립 측정값 분포는 편향되어 있으므로, 회귀 대신 트랜스포머 위에 분위수 헤드를 학습한다. 분위수 헤드는 각 픽셀의 특징을 분위수 값으로 변환하는 2층 MLP로 구성된다.

분위수 헤드는 각 픽셀에 대해 하나의 슬립 추정값이 아니라 가능한 슬립 값의 범위를 예측한다.

MLP는 트랜스포머의 관점에서 보지 못한 솔의 데이터에 대한 핀볼 손실 합을 최소화하도록 학습된다. 추론 시 최종 주행 가능성은 중앙값 슬립 값과 예측 불확실성 중 더 나쁜 경우를 취해 결정한다. 여기서 예측 불확실성은 분포의 폭으로 나타낸다.

잠재 표현 시각화

검증에 사용하지 않은 바퀴 자국 픽셀의 64차원 특징을 2차원으로 투영하고, 실제 슬립 값에 따라 색을 입힌다. 주성분 분석(PCA)은 전역적으로 지배적인 변동 방향을 보존하는 반면, t-분포 확률적 이웃 임베딩(t-SNE)은 국소적인 이웃 구조를 강조한다. 두 투영 모두 동일한 샘플을 사용한다.

PCA 투영에서는 연속적인 색상 구배가 나타나며, 슬립이 큰 샘플은 왼쪽에, 작은 샘플은 오른쪽에 집중된다. 따라서 이 표현은 데이터를 “안전”과 “위험” 클러스터로 나누지 않는다. 대신 지배적인 방향 중 하나가 슬립 크기에 따라 연속적으로 변한다.

t-SNE 투영은 상호보완적인 국소 구조를 보여 준다. 이웃한 점들은 비슷한 색을 유지하면서도 전체적인 구배를 보인다. 슬립이 큰 샘플은 하나의 고립된 클러스터가 아니라 여러 국소 그룹을 형성하는데, 이는 높은 슬립이 하나의 시각적 지형 형태에만 대응하지 않음을 시사한다. 오른쪽의 낮은 슬립 영역이 일관된 구조를 보인다는 점은 안정적으로 주행 가능한 지형에 대한 표현이 일관됨을 나타낸다.

하드웨어 실험

제안된 방법은 지구 유사 시험장에서 시각적으로 분포 밖에 있는 환경으로 전이된다. 실험은 주로 평탄한 지면에서 진행했으며, 다양한 대형 암석을 장애물로 활용했다.

로버가 여러 바위 주변을 주행하는 동안 모델은 주행 가능성 맵을 생성하고 이를 쐐기형 영역에 투영한다. 수정된 플래너는 주행 가능성 점수를 입력받아 기존의 기하학 기반 비용 맵과 융합하고, 경로를 탐색한다.

결론

본 연구는 Perseverance 데이터로부터 밀집 시각 정보만을 사용해 주행 가능성을 예측하기 위한 데이터셋과 학습 프레임워크를 제시했다. 로버의 바퀴 자국을 주행 전 NavCam 영상에 투영함으로써, 수작업 주석 없이도 시각 특징을 고유수용성 정보 및 현가장치 반응과 대조적으로 정렬한다.

DINOv2 인코더가 생성한 특징을 바탕으로 상호보완적인 목적 함수를 사용하는 밀집 디코더를 학습했다. Rank-N-Contrast 손실은 주행 영역 내부의 특징 구조를 형성하고, 양방향 크로스모달 정렬은 해당 특징을 로버의 기계적 반응과 연결한다.

향후에는 새로운 지형에 대한 온라인 적응을 지원하거나, 비전-언어 모델과 같은 더 큰 백본으로 방법을 확장할 수 있다.

감사의 글

본 연구는 미국 항공우주국(NASA)과의 계약에 따라 California Institute of Technology의 Jet Propulsion Laboratory(JPL)에서 수행되었다. 연구는 JPL의 Strategic Research and Technology Development(SRTD) 프로그램의 지원을 받았다.

이번 연구에 사용된 고성능 컴퓨팅 자원은 JPL Enterprise IT Division의 지원금으로 제공되었다. 하드웨어 플랫폼과 ENav 알고리즘에 관해 유익한 논의를 나눠 준 Tyler Del Sesto와 Richard Rieber, 그리고 지원을 아끼지 않은 JPL Rover Operations Center(ROC)에 감사드린다.