이 연구는 월드 모델을 활용해 보상 없이 지속적으로 적응하는 프레임워크를 제안한다. 이 접근법은 행성 탐사, 궤도 항법, 정밀 조립이라는 서로 다른 세 가지 우주 로봇 분야에서 검증되었다. 각 실험에서는 구동기 오작동이나 운동학적 정렬 불량을 통해 심각한 형태학적 고장을 모사하고, 사전 학습된 동역학과 성능 저하 환경의 동역학 사이에 큰 차이를 만들었다. 시간과 상호작용이 제한된 조건에서 에이전트는 제로샷 기준선, 특권적 보상 정보에 접근할 수 있는 에이전트, 처음부터 다시 학습한 에이전트와 비교 평가되었다. 이 연구는 극한 환경에서 진정으로 회복력 있는 자율성을 구현하기 위한 한 걸음이다. 로봇이 사람의 개입 없이도 예측하지 못한 문제에 적응할 수 있는 가능성을 보여주기 때문이다.
방법론
보상 없는 지속적 적응 프레임워크는 DreamerV3 아키텍처를 기반으로 한다. DreamerV3는 잠재 상태 월드 모델을 활용해 고차원 관측을 압축된 표현으로 변환한다. 사전 학습 단계에서는 표준 절차를 따른다. 관측된 궤적을 바탕으로 월드 모델을 공동 최적화하는 동시에, 월드 모델이 생성한 롤아웃 안에서만 액터-크리틱 정책을 학습한다.
핵심적인 과학적 탐구는 온라인 적응 단계에 있다. 이 단계에서는 월드 모델의 상태 전이 동역학만 업데이트하고, 인코더와 보상 예측기를 비롯한 나머지 헤드는 고정한다. 이렇게 최소한으로 변경하면 에이전트는 사전 학습 과정에서 습득한 잠재 보상 지형을 활용해 새로운 환경 동역학에 적응할 수 있다.
전체 과정은 다음 두 단계로 나뉜다.
- 월드 모델 사전 학습.
- 보상 없는 적응.
보상 없는 적응
로봇은 실제 환경에 투입되면 결국 기저의 상태 전이 동역학을 크게 바꾸는 새로운 환경 조건과 하드웨어 성능 저하를 마주하게 된다. 액터-크리틱 정책은 상상 속에서만 학습되었기 때문에, 그 행동에는 원래 월드 모델에 인코딩된 상태 전이 동역학이 본질적으로 반영되어 있다. 따라서 새로운 환경의 실제 동역학이 크게 달라지면 제로샷 정책은 치명적으로 실패하게 된다. 선택한 행동이 더 이상 기대한 결과를 만들어내지 못하기 때문이다.
성능을 회복하려면 온라인 적응이 필수적이다. 하지만 보상을 관측할 수 없는 경우가 있다는 점이 핵심적인 난제다. 이 프레임워크는 사전 학습된 보상 예측기를 활용해 이 문제를 해결한다. 보상 예측기는 월드 모델의 잠재 공간에 내재된 보상 구조를 포착한다. 적응 중에도 이 헤드를 고정하면, 상태 전이 동역학이 변하더라도 액터-크리틱은 업데이트된 잠재 표현을 바탕으로 의미 있는 보상 신호를 계속 받을 수 있을 것으로 기대된다.
이를 통해 에이전트는 일관된 보상 지형을 유지하면서 상태 전이 동역학을 업데이트하는 비지도 롤아웃을 통해 정책을 적응시킬 수 있다.
고정된 시간 범위의 작업에서는 연속성 예측기를 그대로 고정하거나 새로운 에피소드 종료 조건을 반영하도록 업데이트할 수 있다. 여기서는 사전 학습 환경과 배치 환경의 종료 조건이 동일하므로 연속성 예측기를 고정했다. 성능 저하로 에피소드 구조가 크게 달라진다면 이 예측기를 업데이트해야 할 수 있다.
실험 결과
일련의 시뮬레이션 전용 실험을 통해 이 적응 프레임워크의 핵심 특성을 검증했다.
작업 정의와 고장 유형
행성과 궤도 환경에 걸쳐 서로 다른 세 가지 작업을 설계했으며, 각 작업에는 기저 상태 전이 동역학에 큰 변화를 일으키는 모델링되지 않은 형태학적 고장을 적용했다. 모든 작업은 Space Robotics Bench의 일부로 NVIDIA Isaac Lab 위에서 구현되었다.
행성 탐사
행성 탐사 작업에는 NASA JPL의 ERNEST 프로토타입에서 영감을 얻은 실험용 로버를 사용했다. 12개의 구동기를 갖춘 이 로버는 험난한 지형에서도 지면 접촉과 안정성을 유지하도록 양면 능동 짐벌 서스펜션 시스템을 탑재하고 있다.
로버는 목표 속도 벡터를 유지하면서 절차적으로 생성된 장애물 코스를 주행해야 한다. 고장 상황은 전방 오른쪽 바퀴의 조향 관절과 구동 관절을 잠그는 방식으로 모사했으며, 이로 인해 비대칭적인 저항이 크게 증가한다.
실험 프로토콜
두 단계 모두에서 에이전트는 고유수용성 관측값에 접근한다. 여기에 행성 탐사와 궤도 항법에서는 상대적 목표 추적을 위한 상태를, 나사 조립 작업에서는 볼트의 자세를 함께 사용한다.
형태학적 성능 저하로 인해 일부 행동이 구동기 고장 때문에 무의미해진 이후에도 행동 공간은 그대로 유지된다. 각 작업에서 적응 단계는 동일한 사전 학습 모델을 사용해 세 개의 무작위 시드로 반복하고, 강건성을 평가했다.
성능 평가
네 에이전트의 작업별 정규화 진행도 지표를 추적했다.
- 사전 학습된 정책을 평가하는 제로샷 기준선.
- 새로운 동역학을 대상으로 처음부터 다시 학습한 에이전트. 점근적 상한선으로 사용된다.
- 특권적 보상에 접근할 수 있는 적응 에이전트.
- 보상 없는 적응 에이전트.
제로샷 기준선을 제외하면 보상 없는 에이전트는 실제 보상 신호에 접근하지 못하는 유일한 적응 기준선이다. 이 에이전트는 전적으로 월드 모델에 인코딩된 잠재 보상 지형에 의존하므로 실제 환경에 적용할 수 있는 가능성을 지닌다.
모델링되지 않은 동역학 변화 때문에 모든 영역에서 제로샷 정책은 치명적으로 실패했다. 재학습 기준선은 하드웨어 성능이 저하된 상황에서도 작업을 수행할 수 있음을 확인하는 동시에, 처음부터 학습하는 방식이 극도로 비효율적임을 보여준다. 특권적 보상에 접근할 수 있는 에이전트는 빠르게 회복하며 재학습 상한선에 가까운 성능을 달성했다.
보상 없는 에이전트 역시 초기 회복 가능성을 보여주었다. 이는 외부 보상 없이도 잠재 월드 모델이 적응을 이끌 수 있음을 의미한다. 그러나 학습 양상에서는 분명한 한계가 드러났다. 세 영역 모두에서 이 에이전트는 특권적 보상 기준선보다 일관되게 낮은 성능을 보였다. 초기 성능이 향상된 뒤에는 특히 궤도 항법과 조립 작업에서 변동성과 성능 저하가 크게 나타났다.
이 결과는 잠재 보상 지형이 단기적인 정책 회복에는 충분하지만, 명시적 보상이 제공하는 장기적 안정성에는 미치지 못한다는 점을 시사한다. 성능이 저하된 형태학에 맞춰 상태 전이 동역학을 업데이트하는 과정에서 순환 상태공간 모델의 표현이 원래 잠재 공간에서 벗어나는 것으로 보인다.
논의 및 결론
실험 결과는 다양한 시뮬레이션에서 사전 학습된 잠재 상태 월드 모델이 새로운 보상을 관측하지 않고도 온라인 적응을 이끌 수 있는 보상 지형을 인코딩한다는 핵심 가설을 뒷받침한다. 이 프레임워크는 동역학 업데이트와 보상 예측을 분리함으로써, 온라인 보상 계산이 어려운 경우가 많은 우주 로봇 분야의 중요한 병목을 해결한다.
그러나 후반부의 성능 저하는 순환 상태공간 모델이 지닌 용량의 한계를 드러낸다. 보상 헤드를 고정한 채 성능이 저하된 형태학에 맞춰 핵심 상태 전이 동역학을 계속 업데이트하면, 사전 학습 과정에서 습득한 일반화된 원리가 결국 덮어써지기 때문이다.
효과가 입증되었음에도 이 프레임워크에는 분명한 한계가 있다. 후반부 성능 저하를 막기 위해 향후 연구에서는 동역학 업데이트의 범위를 엄격히 제한하는 국소 잠재 공간 어댑터를 연구할 예정이다.
또한 시뮬레이션 전용 연구이므로 sim-to-real 간극의 특수한 문제를 다루지 못했다. 게다가 온라인 적응 단계의 최적화에는 우주용 임베디드 컴퓨팅 모듈의 엄격한 전력 제약을 훨씬 넘어서는 연산이 필요하다. 따라서 효율적인 현장 학습을 실현하려면 앞으로 획기적인 발전이 필요하다.
자주 묻는 질문
보상 없는 지속적 적응이란 무엇인가? 새로운 외부 보상을 관측하지 않고도 사전 학습된 잠재 보상 지형을 활용해 변화한 동역학에 로봇을 적응시키는 방법이다.
적응 중에는 월드 모델의 어떤 부분이 업데이트되는가? 상태 전이 동역학만 업데이트된다. 설명한 조건에서는 인코더, 보상 예측기, 연속성 예측기를 고정한다.
보상 없는 에이전트는 다른 에이전트와 비교해 어떤 성능을 보이는가? 초기에는 성능을 회복하지만 특권적 보상에 접근할 수 있는 에이전트보다 일관되게 낮은 성능을 보이며, 이후 변동성과 성능 저하가 나타난다.
후반부 성능 저하는 무엇 때문에 발생하는가? 성능이 저하된 형태학에 맞춰 상태 전이 동역학을 계속 업데이트하면 순환 상태공간 모델의 표현이 원래 잠재 공간에서 벗어나기 때문으로 추정된다.