관련 연구
관련 연구에 대한 자세한 논의는 부록 A에 수록되어 있습니다.
배경: 학생–교사 증류
다음 절에서는 부분 관측 환경에서 교사–학생 증류를 수행하는 주요 패러다임을 살펴보고, 비대칭 설정에서 탐색을 학습할 때 이러한 접근법이 왜 한계에 부딪히는지 논의합니다. 또한 문맥 내 탐색 학습을 위한 반복적 온폴리시 증류 방법인 ASTEROID의 필요성을 설명합니다.
실험
실험에서는 다음 질문을 다룹니다.
- ASTEROID는 배포 시 부분 관측 문제를 효율적으로 해결하도록 학습하는가?
- ASTEROID는 기준 방법과 비교해 표본 효율적인가?
- ASTEROID로 학습한 정책은 테스트 시 어떤 탐색 행동을 보이는가?
- ASTEROID는 실제 로봇 하드웨어에 배포할 수 있는 탐색 정책을 학습하는가?
- 프런티어 모델은 문맥 내 탐색을 수행하는가?
- 탐색을 효율적으로 학습하려면 온폴리시 문맥에서의 학습이 필요한가?
과제
이 접근법은 로봇 조작, 이산 탐색, 연속 내비게이션에 걸친 다양한 부분 관측 의사결정 문제 모음에서 평가됩니다. 이 과제들은 제한된 감지 능력 아래에서 탐색, 기억, 적응을 요구합니다.
부분 관측 그리드월드
부분 관측 그리드월드는 이산 탐색 문제를 위한 고전적인 벤치마크입니다. 에이전트는 여러 에피소드에 걸쳐 그리드월드에서 행동하며 하나 이상의 목표에 도달합니다. 에이전트는 차원이 명시되지 않은 격자에서 행동하며, 숨겨진 목표를 찾거나 여러 에피소드에 걸쳐 숨겨진 열쇠와 문을 차례로 찾는 등의 목표 지향적 탐색을 수행해야 합니다.
메타학습 내비게이션
메타학습 내비게이션에서는 에이전트가 환경을 탐색해 숨겨진 목표에 도달해야 합니다. 연구에서는 두 가지 설정을 사용합니다. Ant Navigation에서는 에이전트가 8-DoF 로봇이고, 2D Navigation에서는 동역학을 단순한 점 질량으로 축소합니다.
Procgen 미로 내비게이션
Procgen 미로 내비게이션은 절차적으로 생성된 미로에서 목표를 찾는 과제입니다. 에이전트는 국소적인 차원이 명시되지 않은 관측만 받으며, 상호작용 이력으로부터 미로의 구조와 목표 위치를 추론해야 합니다.
체화된 객체 탐색
체화된 객체 탐색은 Habitat-Sim의 고정된 환경에서 가정용 물체를 찾는 과제입니다. 시각적으로 복잡하고 현실적인 부분 관측 문제를 제공합니다.
시뮬레이션 로봇 조작
시뮬레이션 로봇 조작에는 부분 관측 환경의 고차원 연속 제어 과제인 손목 카메라 페그 삽입과 촉각 집기 과제가 포함됩니다. 로봇은 제한된 감지 능력을 활용해 물체를 조작해야 합니다. 예를 들어 손목 카메라 영상만으로 탁자를 탐색하거나, 촉각을 이용해 물체를 찾고 과제를 완료해야 합니다.
실제 로봇 조작
시뮬레이션 과제 하나를 실제 환경에서 재현합니다. 로봇은 팔과 그리퍼의 고유수용감각 정보만 사용해 정육면체를 집어야 합니다. 정책은 도메인 무작위화를 적용해 시뮬레이션에서 학습한 다음 실제 환경으로 전이됩니다.
기준 방법
이 연구는 부분 관측을 다루는 여러 프레임워크의 강력한 기준 방법 10개와 ASTEROID를 비교합니다. 제공된 내용에서는 다음 두 가지를 설명합니다.
- RL² (메타 강화학습): 상호작용만으로 숨겨진 매개변수에 적응하도록 순환 정책을 학습합니다. 정책의 은닉 상태는 에피소드 전반의 이력으로부터 갱신되는 암묵적 학습 알고리즘 역할을 합니다.
- 증류된 플래너: Habitat의 체화된 내비게이션을 위해 사후분포 표본추출 강화학습(PSRL)을 수행하는 정책을 학습하며, 성능의 상한을 제공합니다.
프런티어 모델은 문맥 내 탐색을 수행하는가?
성능이 뛰어난 파운데이션 모델의 최근 발전을 고려해, 이 연구에서는 부분 관측 환경의 탐색에 프런티어 모델을 사용했을 때 얼마나 잘 수행하는지 살펴봅니다. 실험에는 페그 삽입 과제가 사용됩니다. 로봇은 손목 카메라로 탁자를 탐색하고, 페그를 찾아 집어 올린 다음 페그 구멍에 끼워야 합니다.
감사의 말
저자들은 유익한 피드백과 통찰력 있는 논의를 나눠 준 WEIRD Lab 구성원들에게 감사를 표합니다. 또한 시뮬레이션 전문가와 로봇 정책의 시뮬레이션-실제 전이를 설정하는 데 도움을 준 OmniReset 저자들에게도 감사를 전합니다. 연구 결과에 기여한 고성능 컴퓨팅 자원을 제공한 UW Hyak Team에도 감사를 표합니다. 이 연구는 NSF Award 2535892의 일부 지원을 받았습니다.
특권 전문가 감독의 노이즈에 대한 강건성
저자들은 학생을 감독하는 전문가에 노이즈를 추가하는 절제 연구를 통해 ASTEROID의 강건성을 평가합니다. 학습 중 전문가의 행동에 가우시안 노이즈를 주입하며, 제공된 내용에는 노이즈 매개변수가 명시되어 있지 않습니다. 그 결과 ASTEROID는 노이즈가 있는 감독에서도 높은 성능을 유지합니다. 성능이 약간 향상된 것은 노이즈가 있는 목표로부터 학습할 때의 정규화 효과 때문일 수 있습니다.
창발적 문맥 내 기억
ASTEROID로 학습한 정책이 문맥에 주의를 기울이는지 알아보기 위해 저자들은 키-도어 환경의 변형을 구성합니다. 에이전트는 탐색 중 열쇠나 문에 도달할 때마다 상태에서 두 개의 불리언 플래그를 관측합니다.
ASTEROID로 학습한 정책은 창발적인 문맥 내 기억을 보입니다. 에이전트는 이전 시도에서 열쇠나 문을 발견했다면 나중에 문맥에서 해당 정보를 다시 불러와 효율적으로 활용할 수 있습니다.
학습 세부 사항
ASTEROID는 인과 트랜스포머를 사용합니다. 각 토큰은 관측, 이전 행동, 보상, 종료 신호로 구성된 튜플을 MLP 인코더로 인코딩합니다. 이미지는 ImageNet으로 사전 학습된 ResNet18로 인코딩합니다. 이산 행동의 경우 모델은 행동 공간에 대한 로짓을 예측하고, 연속 행동의 경우 가우시안 분포의 평균과 표준편차를 예측합니다.
자주 묻는 질문
ASTEROID는 무엇을 학습하도록 설계되었나요? ASTEROID는 부분 관측 환경에서 문맥 내 탐색을 학습하기 위한 반복적 온폴리시 증류 방법입니다.
실험에는 어떤 종류의 과제가 사용되나요? 과제는 그리드월드 탐색, 내비게이션, 체화된 객체 탐색, 시뮬레이션 로봇 조작, 실제 로봇 조작을 아우릅니다.
키-도어 실험은 문맥 내 기억을 어떻게 검증하나요? 에이전트는 열쇠나 문에 도달할 때 플래그를 관측합니다. 보고된 정책은 이전 시도의 발견 내용을 나중에 다시 불러와 활용할 수 있습니다.
ASTEROID는 어떤 아키텍처를 사용하나요? 관측·행동·보상·종료 토큰을 위한 MLP 인코더를 갖춘 인과 트랜스포머와 이미지 관측을 위한 사전 학습된 ResNet18을 사용합니다.