연구진이 포인트, 이미지, 언어 등 여러 목표 유형에서 작동하는 단일 내비게이션 모델인 WAM-Nav를 개발했습니다. 미래 시각적 관측과 행동을 동시에 예측함으로써, 이 모델은 다양한 내비게이션 작업을 하나의 프레임워크로 통합하며 작업별 재학습이 필요 없습니다.
목차
연구진이 만든 것
WAM-Nav(World-Action Modeling for Navigation)는 생성형 트랜스포머 기반 정책으로, 카메라 관측과 사용자 지정 목표를 로봇 행동으로 직접 매핑합니다. 핵심 혁신은 비대칭 잠재 아키텍처입니다. 모델은 세계의 압축된 표현(로봇이 다음에 볼 것으로 예상하는 것)과 행동(그곳으로 이동하는 방법)을 동시에 학습하지만, 별도의 잠재 공간에서 수행합니다. 이를 통해 모델은 단일 학습 과정 내에서 시각적 예측과 모터 명령 모두를 추론할 수 있습니다.
이 시스템은 Intel RealSense D455 깊이 카메라와 온보드 RTX 4060 GPU를 장착한 Unitree G1 휴머노이드 로봇에서 테스트되었습니다. 재구성 수평 제어 루프를 실행합니다. 각 단계에서 모델은 16개의 후보 궤적을 샘플링하고 첫 번째 궤적을 실행한 후 반복합니다. 이 프레임워크는 이미지의 2D 포인트, 자연어 명령, 목표 이미지라는 세 가지 목표 방식을 기본 모델 아키텍처 변경 없이 지원합니다.
주요 결과
시뮬레이션 벤치마크에서 WAM-Nav는 NavDP와 같은 기존 단일 작업 내비게이션 정책의 성능과 동등하거나 그 이상이며, 세 가지 목표 유형을 모두 하나의 통합 프레임워크로 처리하는 최초의 모델입니다. 중요한 결과는 목표 방식 간 균형 잡힌 성능입니다. 이전 방법은 종종 한 목표 유형(예: 언어 목표보다 이미지 목표)을 선호했지만, WAM-Nav는 목표가 포인트, 이미지, 문장으로 지정되든 일관된 내비게이션 성공률을 달성합니다.
Unitree G1 휴머노이드의 실제 테스트에서 모델은 온보드 GPU에서 1Hz 추론(약 1.3GB 메모리 점유)으로 실행되며, 50Hz 모델 예측 제어기로 추적되는 궤적을 출력합니다. 시스템은 20° 아래로 기울어진 전방향 깊이 카메라만 사용하여 동적 장애물이 있는 실내 환경을 성공적으로 탐색합니다.
문헌에서 단일 작업 방법이 세 가지 목표 유형 모두에서 경쟁력 있는 성능을 동시에 달성한 적은 없습니다. WAM-Nav는 작업별 재학습 없이 이러한 통합을 입증한 최초의 사례입니다.
작동 원리
WAM-Nav는 확산 정책과 유사한 흐름 매칭 생성 프레임워크를 기반으로 하지만, 세계 모델링과 행동 모델링을 분리하는 비대칭 설계를 갖추고 있습니다. 핵심 파이프라인은 세 단계로 구성됩니다.
- 목표 정렬 모듈 – 사용자의 목표(포인트, 이미지, 텍스트)는 방식별 인코더를 통해 기본 임베딩을 생성합니다. 이 임베딩은 두 개의 개별 토큰 공간, 즉 세계 모델 조건화용과 행동 모델 조건화용으로 투영됩니다. 이 "비대칭" 설계는 각 하위 작업과 관련된 정보를 보존하면서 통일된 인터페이스를 유지합니다.
- 잠재 세계-행동 모델 – 트랜스포머가 현재 관측(RGB-D 이미지)을 목표 조건화 토큰과 함께 처리합니다. 동시에 잠재 미래 관측("세계 토큰")과 잠재 행동 궤적("행동 토큰")을 예측합니다. 세계와 행동 잠재 변수는 독립적으로 모델링되지만 동일한 트랜스포머 백본을 공유합니다. 훈련은 노이즈 분포에서 세계 및 행동 잠재 변수의 목표 분포로의 연속 변환을 학습하는 흐름 매칭 속도 회귀 손실을 사용합니다.
- 재구성 수평 제어 – 배포 시 모델은 현재 관측과 목표를 받아 학습된 분포에서 16개의 후보 궤적을 샘플링합니다. 첫 번째 궤적이 선택되어 모델 예측 제어기로 전달되며, 계획된 경로를 50Hz로 모터 속도 명령으로 변환합니다. 이 과정은 1초(모델의 추론 속도)마다 반복됩니다.
시스템은 1.3GB 메모리 풋프린트로 로봇의 RTX 4060 GPU에서 전적으로 온보드 실행되며, 클라우드 연결 없이 실시간 폐쇄 루프 내비게이션을 가능하게 합니다.
로봇 공학에서의 중요성
WAM-Nav는 모바일 로봇 공학의 근본적인 문제점, 즉 다양한 목표 유형에 대해 별도의 내비게이션 스택이 필요하다는 점을 해결합니다. 예를 들어 창고 로봇은 좌표로 이동하거나 사진 속 사람을 따라가거나 음성 명령에 응답해야 할 수 있습니다. 전통적으로는 세 개의 별도 모델이 필요했습니다. WAM-Nav는 이를 하나로 통합합니다.
인간 환경을 위해 설계된 휴머노이드 로봇 및 기타 모바일 플랫폼의 경우, 특히 자연어를 포함한 모든 형식의 목표를 수용할 수 있는 능력은 비전문가 조작자의 진입 장벽을 크게 낮춥니다. 공장 관리자는 좌표를 프로그래밍하거나 목표 이미지를 캡처하지 않고도 로봇에게 "로딩 독으로 가"라고 말할 수 있습니다.
비대칭 잠재 설계는 더 샘플 효율적인 훈련을 위한 방향을 제시합니다. 세계 역학과 행동 전략을 함께 학습함으로써 모델은 더 적은 시연으로 새로운 환경에 더 잘 전이될 수 있으며, 이는 실제 배포에 중요한 요구 사항입니다.
한계와 남은 과제
실제 테스트에서 두 가지 실패 모드가 나타났습니다. 첫째, 고정된 전방향 카메라(20° 아래 기울기)는 로봇 발 바로 앞의 장애물을 포착하지 못해 가끔 충돌 회피가 지연됩니다. 둘째, 모델은 로봇의 전체 몸체 기하학을 명시적으로 고려하지 않습니다. 내비게이션을 카메라 수준 문제로 취급하여 몸통이나 팔다리가 좁은 통로와 충돌할지 무시합니다.
이러한 한계는 두 가지 미래 방향을 제시합니다. 정책 자체에 의한 적응형 카메라 시야(능동 지각)와 모델이 로봇의 형태와 운동학을 함께 학습하는 체화 인식 훈련입니다. 또한 1Hz 추론 속도는 매우 동적인 환경에서 너무 느릴 수 있습니다. 지연 시간 개선 또는 예측 추적은 공학적 과제로 남아 있습니다.
이 논문은 시뮬레이션-실제 전이를 체계적으로 다루지 않습니다. 모든 훈련은 시뮬레이션에서 이루어지며, 실제 하드웨어 배포는 신중한 카메라 보정과 MPC 튜닝이 필요합니다.
자주 묻는 질문
WAM-Nav가 이전 내비게이션 정책과 다른 점은 무엇인가요? 비대칭 잠재 세계-행동 아키텍처 덕분에 작업별 재학습 없이 포인트, 이미지, 언어 목표를 처리하는 최초의 단일 모델입니다.
WAM-Nav를 실행하려면 어떤 하드웨어가 필요한가요? Intel RealSense D455와 같은 깊이 카메라와 최소 1.3GB 메모리의 GPU(예: RTX 4060)로 실시간 온보드 추론이 가능합니다.
WAM-Nav를 바퀴 달린 로봇이나 다른 형태의 로봇에 사용할 수 있나요? 현재 버전은 로봇의 체화를 모델링하지 않으므로, 다른 플랫폼으로 전이하려면 제어기를 재튜닝하고 체화 인식 조건화로 재훈련해야 할 수 있습니다.
모델은 로봇에서 얼마나 빠르게 실행되나요? 추론은 1Hz로 실행되며, 모델 예측 제어기를 사용한 궤적 추적은 50Hz로 이루어져 실내 환경에서 부드러운 내비게이션이 가능합니다.
결론
WAM-Nav는 단일 생성형 내비게이션 정책이 성능 저하 없이 여러 목표 방식을 처리할 수 있음을 보여줍니다. 비대칭 잠재 공간에서 세계와 행동 표현을 함께 학습함으로써, 이 모델은 진정한 범용 로봇 내비게이션을 위한 실용적인 길을 제시합니다.