연구진은 강화학습 후훈련 12시간 만에 시뮬레이션에서 성공률을 61%에서 84%로, 실제 환경에서는 10%에서 65%로 끌어올린 확산 기반 내비게이션 정책을 훈련했습니다. X-NavDP라는 이 방법은 하나의 공유 정책이 바퀴형 로봇, 4족 로봇, 휴머노이드에 적응하면서 막다른 길 탈출과 같은 회복 동작을 학습할 수 있게 합니다.
목차
연구진이 만든 것
X-NavDP는 사전 훈련된 확산 내비게이션 정책에 결합하는 강화학습 후훈련 프레임워크입니다. 확산 정책은 무작위 노이즈를 반복적으로 제거하여 행동 청크를 생성하며, 대규모 오프라인 데이터셋 학습에 탁월하지만 실제 세계가 훈련 분포와 일치하지 않을 때 적응이 느립니다.
연구진은 내비게이션 확산 정책의 두 가지 알려진 실패 모드, 즉 결정 모호성과 본체 인식 부족을 목표로 삼았습니다. 전역 최적 오프라인 궤적을 모방하면 로봇이 실시간으로 부분적인 로컬 뷰만 볼 수 있어 막다른 길에서 회복하거나 긴 우회를 실행하는 법을 배우지 못해 모호성이 발생합니다. 한편, 본체 인식 없는 데이터 생성은 로봇별 역학을 무시하여 플랫폼 간 전이가 불안정합니다.
X-NavDP의 핵심은 Group Q-score Reweighted Matching (GQRM) 프레임워크입니다. 자기 부트스트래핑 궤적 교란 모듈은 원시 노이즈 주입을 대체하여 목표 조건부 및 목표 무관 궤적을 구조화된 탐색 후보로 혼합합니다. 그룹 내 정규화된 Q-점수는 희소하고 드물게 방문되는 어려운 상태에 대한 학습 신호를 증폭합니다. 경량 Embodiment FiLM Modulation은 로봇 정체성을 트랜스포머 디코더에 주입하고, RTC 안내는 배포 시 시간적 일관성을 강제합니다.
주요 결과
가장 명확한 신호는 원시 내비게이션 성능입니다. 상업 및 주거 환경이 혼합된 56개 시뮬레이션 장면에서 성공률은 61.20%에서 84.28%로, 경로 효율성 지표인 SPL은 58.95%에서 77.19%로 상승했습니다.
| 지표 | 후훈련 전 | X-NavDP 적용 후 |
|---|---|---|
| 내비게이션 성공률 (시뮬레이션, 56개 장면) | 61.20% | 84.28% |
| SPL 경로 효율성 (시뮬레이션, 56개 장면) | 58.95% | 77.19% |
| 실제 환경 성공률, 복잡한 배치 | 10% | 65% |
| RTC 안내 포함 성공률 (전체 정책) | 82.17% | 84.28% |
| RTC 안내 포함 SPL (전체 정책) | 75.81% | 77.19% |
실제 환경 결과는 가장 극적이었습니다. 복잡한 실내외 배치에서 성공률은 10%에서 65%로 치솟았으며, 연구진은 이를 더 나은 인식보다 새로 학습된 회복 및 재계획 기술 덕분으로 돌렸습니다.
24개 장면 하위 집합에 대한 절제 연구는 각 구성 요소의 필요성을 확인했습니다. Embodiment FiLM 변조는 소프트 프롬프트 연결보다 우수했고, 추론 시 RTC 안내는 대부분의 본체-장면 분할, 특히 휴머노이드 및 4족 주거 장면에서 일관되고 적당한 개선을 제공했습니다.
작동 방식
출발점은 오프라인에서 훈련된 확산 내비게이션 정책입니다. 추론 시 학습된 역과정을 사용하여 무작위 노이즈에서 반복적으로 노이즈를 제거하여 행동 청크를 생성합니다. 이는 로봇이 데모와 전혀 다른 상황에 부딪힐 때까지 잘 작동합니다.
X-NavDP의 훈련 루프는 롤아웃, 점수화, 업데이트의 세 부분으로 구성됩니다. 각 롤아웃 동안 정책은 상태당 8개의 교란되지 않은 궤적과 8개의 교란된 궤적 후보를 생성합니다. 교란은 자기 부트스트래핑 방식으로, 동일한 시각적 맥락에 대해 목표 조건부 궤적 하나와 목표 무관 궤적 하나를 추출하여 혼합합니다. 이 구조화된 노이즈는 정책이 대부분 쓸모없는 움직임을 생성하는 원시 가우시안 노이즈에 의존하는 대신 막다른 길 탈출과 같은 회복 동작을 탐색하도록 유도합니다.
각 후보는 비평가에 의해 점수가 매겨집니다. Q-점수의 표준 전역 정규화는 높은 수익 상태가 척도를 지배하므로 희귀한 어려운 상태를 묻어버립니다. GQRM은 유사한 상태 그룹 내에서 정규화하여 수익이 낮은 막다른 상태도 의미 있는 학습 신호를 유지합니다.
훈련은 세 단계로 진행됩니다: 리플레이 워밍업 3,000 시뮬레이터 스텝, 비평가 전용 업데이트 100 미니배치, 그 다음 배치마다 배우가 갱신되는 공동 배우-비평가 업데이트입니다. 본체 회전은 24,000 시뮬레이터 스텝마다 활성 로봇 플랫폼을 전환하면서 모델 가중치와 리플레이 버퍼를 유지합니다. 이렇게 하나의 정책이 여러 본체를 학습합니다.
배포 시 단일 사이클 역학 기반 MPC 추적 컨트롤러가 각 예측 궤적을 로봇의 저수준 컨트롤러에 대한 베이스 속도 명령으로 변환합니다. 폐루프 RTC 안내는 연속적인 예측을 비교하고 정책을 시간적으로 일관된 행동 청크로 유도합니다.
로봇 공학에 중요한 이유
운영자에게 핵심은 경제성입니다. 이제 하나의 내비게이션 정책이 여러 로봇 형태를 지원할 수 있으므로, 바퀴형 물류 플랫폼과 휴머노이드 및 4족 로봇을 함께 운영하는 시설은 본체 유형별로 별도의 내비게이션 스택을 필요로 하지 않습니다. 이는 함대 소프트웨어를 단순화하고 재훈련 시간을 줄이며 기존 사이트에 새 로봇 폼팩터를 추가하는 비용을 낮춥니다.
회복 동작 결과도 그만큼 중요합니다. 막다른 길 탈출과 긴 우회는 오프라인 데이터셋에서 드문 이벤트이므로, 대부분의 내비게이션 정책이 가장 필요할 때 실패하는 이유입니다. X-NavDP의 그룹 정규화 Q-점수는 이러한 드문 상태를 중요하게 만들어 정책이 얼어붙는 대신 스스로 문제를 해결하는 법을 배웁니다.
Robot Overflow에서 휴머노이드 로봇을 평가하거나 창고 로봇 배치를 계획하는 구매자에게 이는 내비게이션 능력이 하드웨어의 고정 속성이 아니라 사이트별로 몇 시간 만에 미세 조정되는 훈련 가능한 자산이 되는 미래를 시사합니다.
한계와 향후 과제
X-NavDP는 단기 시간적 맥락에 의존하므로 몇 분 전 막힌 복도를 기억하는 것과 같은 장기 기억이 필요한 작업은 현재 범위를 벗어납니다. 새 로봇 형태에 적응하려면 해당 플랫폼용 사전 훈련된 저수준 운동 제어기가 여전히 필요합니다. 프레임워크는 내비게이션 레이어를 미세 조정하며 전체 스택을 대체하지 않습니다. 검증은 사전 정의된 운동 제어기가 있는 세 가지 본체를 대상으로 했고, 실제 테스트는 실내외 설정을 다뤘지만 밀집된 보행자 교통이나 악천후와 같은 극한 조건은 포함하지 않았습니다. 12시간 후훈련 수치도 사전 훈련된 확산 정책과 작동하는 시뮬레이터에 대한 접근을 가정하므로, 처음 시작하는 팀은 미세 조정뿐만 아니라 설정에도 예산을 잡아야 합니다. 더 다양한 장면과 로봇 플랫폼에서도 이러한 이점이 유지되는지는 여전히 열린 질문입니다.
자주 묻는 질문
내비게이션 정책에 전역 Q-점수 정규화가 실패하는 이유는 무엇인가요? 막다른 길과 같은 어렵고 드물게 방문되는 상태에서는 Q-값이 낮지만 여전히 유용합니다. 전역 정규화는 이를 0에 가깝게 압축하여 학습 신호를 사실상 지웁니다. 유사한 상태 그룹 내에서 정규화하면 이를 보존합니다.
X-NavDP는 본 적 없는 로봇에서도 작동하나요? 훈련 중 본체 회전과 추론 시 FiLM 변조를 통해 테스트된 세 가지 본체(바퀴형, 4족, 휴머노이드)에 일반화됩니다. 각 로봇은 여전히 자체 사전 훈련된 저수준 제어기가 필요합니다.
훈련 시간과 계산량은 얼마나 필요한가요? 벡터화된 병렬 환경을 사용하여 약 12시간의 후훈련이 필요하며, 공동 정책 업데이트 전에 리플레이와 비평가 워밍업 단계가 있습니다.
기존 내비게이션 스택과 결합할 수 있나요? 네. X-NavDP는 사전 훈련된 확산 정책을 미세 조정하고 경량 모듈을 추가합니다. 로봇의 저수준 속도 제어기를 대체하거나 센서 스택을 재설계할 필요가 없습니다.
결론
X-NavDP는 더 큰 데이터셋이 아닌 강화학습 후훈련만으로도 내비게이션 견고성과 교차 본체 전이에서 상당한 이점을 얻을 수 있음을 보여줍니다. 단 12시간의 미세 조정으로 하나의 정책이 회복 동작을 학습하고 바퀴형, 4족, 휴머노이드 플랫폼에 적응합니다. 이는 단일 로봇 본체를 넘어서는 내비게이션 지능으로 가는 의미 있는 한 걸음입니다.