WNM-3D는 비전·언어 내비게이션 로봇에 주변 환경을 지속적으로 파악하는 3D 기반 장면 기억을 제공하고, 이를 바탕으로 앞으로 보게 될 화면과 이동 행동을 함께 생성한다. GN-Bench에서 이 시스템은 강력한 비전·언어 정책과 2D 조건화 버전을 제치고 폐루프 내비게이션 성능을 높였다. 이는 다음 명령을 고르는 일만큼이나 장면이 어떻게 변할지 예측하는 일이 중요하다는 점을 보여준다.
목차
연구진은 무엇을 만들었나?
WNM-3D는 연속적인 비전·언어 내비게이션, 즉 VLN을 위한 월드 내비게이션 모델이다. 로봇은 특정 방이나 물체에 도달하라는 자연어 지시를 받고, 전방 RGB 카메라로 주변을 관찰하면서 이동 행동을 반복적으로 선택한다. 이는 정지된 이미지에서 한 번의 행동을 고르는 문제와 다르다. 로봇이 움직일 때마다 다음에 볼 수 있는 장면이 달라지므로, 내비게이션에는 관찰하고 행동한 뒤 다시 판단하는 폐루프 과정이 필요하다.
현재 많은 VLN 시스템은 대규모 비전·언어 모델을 비전·언어·행동 정책으로 확장한다. 이런 시스템은 언어와 시각적 의미를 연결하는 데 능하지만, 대체로 다음 행동을 예측하는 데 초점을 맞춘다. 해당 행동을 실행한 뒤 카메라에 어떤 미래 화면이 나타날지, 그리고 그 화면이 타당한지까지 명시적으로 모델링하지는 않는다.
WNM-3D는 미래 관측과 행동을 함께 생성해 이 간극을 메운다. 기하 인코더는 단안 RGB 이미지의 시간적 이력을 분석하고, 표면과 물체, 시점 사이의 관계처럼 공간 구조에 관한 정보를 추출한다. 학습 가능한 어댑터는 이 정보를 고정 길이 토큰 시퀀스로 압축해 월드·행동 생성기가 읽을 수 있도록 한다.
그 결과 탄생한 내비게이션 시스템은 서로 단절된 이미지의 나열이 아니라, 지속적으로 유지되는 기하학적 장면 맥락을 갖는다. 이 맥락은 로봇이 현재 어디에 있는지뿐 아니라 움직인 뒤 환경이 어떻게 보여야 하는지도 추론하도록 돕는다.
핵심 결과는 무엇인가?
WNM-3D는 폐루프 내비게이션 벤치마크인 GN-Bench에서 평가됐다. 초록에 따르면 WNM-3D는 강력한 VLM 기반 내비게이션 정책은 물론, 기하 정보를 반영한 3D 장면 표현 대신 2D 시각 정보로 조건화한 비교 모델도 앞섰다.
성과는 로봇이 결국 목적지에 도착했는지에만 국한되지 않았다. 목표 지점 근처의 고정 평가 세트에서 WNM-3D는 더 높은 flow-action consistency와 더 낮은 visual-motion error를 기록했다. flow-action consistency는 예측된 시각적 변화가 이동 행동과 일치하는지를 측정하고, visual-motion error는 예상한 시각적 움직임과 실제 생성된 시각적 움직임 사이의 불일치를 측정한다. 두 지표를 함께 보면 모델이 자신의 행동이 물리적으로 어떤 결과를 낳는지 이해하는지를 평가할 수 있다.
보고된 비교 결과는 다음과 같다.
- 폐루프 내비게이션: WNM-3D는 GN-Bench에서 강력한 VLM 기반 내비게이션 정책보다 우수했다.
- 3D와 2D 조건화 비교: WNM-3D는 2D 조건화 대응 모델보다 우수했다.
- 행동 및 시각 예측: WNM-3D는 목표 지점 근처에서 더 높은 flow-action consistency를 달성했다.
- 움직임의 사실성: WNM-3D는 목표 지점 근처에서 더 낮은 visual-motion error를 기록했다.
원문 초록에는 수치 점수, 향상률, 개별 과제별 결과가 제시되지 않았다. 따라서 핵심 성과는 정량적 향상 폭이 아니라 비교 결과에 있다. 지속적인 3D 장면 조건화를 추가하자 내비게이션 행동은 물론, 예측된 움직임과 미래 화면 사이의 정합성도 개선됐다.
WNM-3D는 어떻게 작동하나?
WNM-3D는 기하 인코더, 3D Scene-to-Token Adapter, 월드·행동 Diffusion Transformer, 단계적 학습 파이프라인이라는 네 가지 핵심 요소로 구성된다.
먼저 기하 인코더가 로봇의 단안 RGB 관측 이력을 처리한다. 카메라는 2차원 이미지만 포착하지만, 인코더는 해당 관측들에서 추론한 공간 구조를 요약해 기하 정보를 담은 표현을 추출한다. 학습 중에는 인코더를 고정해 기하 특징 추출기는 그대로 유지하고, 나머지 시스템이 그 출력을 활용하는 방법을 학습하도록 한다.
다음으로 3D Scene-to-Token Adapter가 기하 표현을 월드·행동 모델이 사용하는 토큰 공간의 고정 길이 프리픽스로 변환한다. 이 어댑터는 장면 기하와 생성형 시퀀스 모델링을 연결하는 인터페이스 역할을 한다. 생성기에 원시 이미지를 계속 입력하는 대신, 모델은 미래 예측 전반에 걸쳐 유지할 수 있는 압축된 장면 요약을 받는다.
월드·행동 생성기는 Diffusion Transformer다. 이 모델은 미래 비디오 관측과 내비게이션 행동을 담은 블록을 함께 생성한다. 블록 인과 어텐션은 올바른 시간 순서를 유지하면서 기하 프리픽스가 모든 미래 비디오·행동 블록을 조건화하도록 한다. 쉽게 말해 모델은 동일한 장면 맥락을 활용해 카메라에 무엇이 보일지 예측하고, 로봇이 어떻게 움직여야 할지도 결정한다.
학습 과정은 세 단계로 진행된다.
- 지도 방식 월드·행동 파인튜닝: A* 탐색으로 내비게이션 상태와 성공적인 행동 시퀀스를 짝지은 시연 데이터를 생성한다.
- DAgger 방식의 적응: 정책이 실제로 방문한 상태를 수집하고 온폴리시 상황에서 학습해, 이상적인 시연과 불완전한 실제 롤아웃 사이의 간극을 줄인다.
- DanceGRPO 기반 폐루프 최적화: 내비게이션 루프를 직접 수행하는 동안 정책을 최적화해, 관측이 계속 바뀌어도 효과적으로 작동하는 행동에 보상을 준다.
이 설계는 내비게이션을 서로 맞물린 예측 문제로 다룬다. 어떤 행동이 지시문에 그럴듯하게 들린다는 것만으로는 충분하지 않다. 그 행동은 타당한 다음 화면을 만들어내고 목적지까지의 진행도 유지해야 한다.
로보틱스에 왜 중요한가?
건물, 창고, 병원, 공공장소에서 작동하는 로봇은 카메라 화면이 항상 정해진 순서대로 들어오는 환경에 놓이지 않는다. 사람은 움직이고 조명은 바뀌며 지도는 불완전할 수 있다. 작은 행동 오차만으로도 로봇이 시각적으로 혼란스러운 위치에 놓일 수 있다. 이동과 그에 따른 시각적 결과를 함께 예측하는 모델은 다음 명령만 고르는 정책보다 이런 오차에서 회복할 수 있는 기반이 더 탄탄하다.
3D 장면 프리픽스는 장거리 내비게이션에서 특히 중요하다. 로봇은 복도가 왼쪽으로 이어졌다는 사실, 특정 랜드마크를 지나왔다는 사실, 현재 화면이 이전에 관찰한 영역에서 방향을 돌린 결과라는 사실을 기억해야 할 수 있다. 기하 정보를 반영한 기억은 순수한 이미지 이력보다 이런 관계를 안정적으로 유지하는 데 유리할 수 있다.
이 접근법은 상용 로봇 플랫폼을 위한 설계 방향으로도 의미가 있다. 변화하는 통로를 주행하는 창고 로봇에 활용하거나, 작업 셀 사이를 안정적으로 이동해야 하는 중고 산업용 로봇과 함께 배치되는 모바일 시스템을 지원할 수 있다. 논문이 이러한 배포 환경을 직접 입증한 것은 아니지만, 폐루프라는 문제 설정은 두 경우 모두에 공통된 핵심 요구를 다룬다. 즉 행동은 로봇 주변 환경의 변화에 맞춰 계속 정합성을 유지해야 한다.
로봇 구매자와 운영 관리자에게 중요한 교훈은 언어 이해만으로는 충분하지 않다는 점이다. 내비게이션 시스템은 공간적 맥락을 유지하고, 예측한 이동이 그 이동으로 발생한 시각적 변화와 일치하는지도 확인해야 한다.
한계와 남은 과제는 무엇인가?
초록에는 수치 점수, 연산 요구량, 지연 시간, 메모리 사용량, 다양한 하드웨어 플랫폼에서의 성능이 보고되지 않았다. 로봇이 오프라인 평가 환경이 아닌 실제 모바일 로봇에 탑재된 상태로 모델을 실행할 수 있는지 판단하려면 이런 정보가 중요하다.
기하 인코더가 고정되어 있으므로 시스템 성능은 사전 학습된 공간 표현의 품질과 일반화 능력에 일부 좌우된다. 또한 단안 RGB는 깊이 정보를 불완전하게 제공하며, 반사면이나 질감이 없는 표면, 혼잡한 공간, 조명이 열악한 환경에서는 그 한계가 더욱 두드러진다.
학습 파이프라인은 A*로 생성한 시연 데이터, 정책이 직접 방문한 상태, 폐루프 최적화에 의존한다. 따라서 이 방법이 실제 건물, 처음 보는 구조, 동적 장애물, 벤치마크와 다른 표현의 지시문에 얼마나 잘 전이될지는 여전히 확인이 필요하다. 목표 지점 근처에서 측정한 지표는 유용한 진단 도구지만, 그것만으로 장거리 경로에서의 강건성이나 심각한 인식 오류에 대한 대응력을 입증할 수는 없다.
자주 묻는 질문
WNM-3D는 어떤 문제를 해결하나?
내비게이션 행동을 선택하는 일과, 그 행동 이후 로봇의 시각적 주변 환경이 어떻게 변할지 예측하는 일 사이의 간극을 다룬다.
무엇이 이 모델을 3D 기반으로 만드는가?
기하 인코더가 단안 카메라 이력에서 공간 정보를 추출하고, 어댑터가 이를 미래 비디오와 행동 생성을 조건화하는 토큰으로 변환한다.
WNM-3D는 어떻게 학습했나?
A*로 생성한 시연 데이터, 정책이 방문한 상태를 활용하는 DAgger 방식 학습, DanceGRPO 기반 폐루프 정책 최적화를 결합해 학습했다.
초록에 정확한 벤치마크 점수가 제시되어 있나?
아니다. GN-Bench에서의 성능 향상과 더 높은 flow-action consistency, 더 낮은 visual-motion error를 보고하지만, 구체적인 수치는 제시하지 않는다.
결론
WNM-3D는 월드·행동 모델에 지속적이고 기하 정보를 반영한 장면 표현을 제공함으로써 폐루프 비전·언어 내비게이션을 개선한다. 더 나은 내비게이션 성능과 행동·미래 화면 간 정합성 향상은 로보틱스의 더 큰 원칙을 뒷받침한다. 안정적인 이동을 위해서는 다음에 무엇을 할지 고르는 것뿐 아니라, 행동에 따라 세상이 어떻게 변할지도 모델링해야 한다.