호기심과 내재적 동기
사람이 직접 설계한 보상에 대한 의존도를 낮추기 위해, 내재적 동기 부여 방법은 에이전트가 새롭거나 예측하기 어려운 상태에 도달하도록 보상합니다. 예측 오차 기반 호기심은 학습된 순방향 모델의 오차를 내재적 신호로 사용하고, 무작위 네트워크 증류는 고정된 무작위 네트워크의 특성을 예측할 때 발생하는 오차로 새로움을 측정합니다. 이러한 신호는 폭넓은 탐색을 이끌지만 여전히 휴리스틱에 머물며, 정교한 조작에 필요한 안전하고 물체 중심적인 접촉을 유도하지는 않습니다.
놀이를 통한 학습
로봇의 놀이 기반 학습은 목표가 정해지지 않은 인간 생성 상호작용을 과제에 구애받지 않는 감독 신호로 사용합니다. Play-LMP는 원격 조작 놀이에서 잠재 계획을 학습하고 이를 목표 조건부 제어에 재사용합니다. 후속 연구에서는 놀이에서 어포던스를 추출해 샘플 효율성을 높였습니다. 이러한 접근법은 대체로 놀이를 모방 학습을 위한 고정 데이터셋으로 취급합니다. 반면, 지도된 놀이를 통한 손재주(Dexterity from Supervised Play, DSP)는 인간의 놀이 데이터 일부를 이용해 재사용 가능한 자율 데이터 수집 메커니즘으로 작동하는 정책을 학습합니다.
지도된 놀이
시연에는 정해진 목표나 과제별 보상 없이 물체와 계속 상호작용하는 모습이 담깁니다. 안전한 행동은 명시적으로 설계하는 대신 데이터에서 암묵적으로 시연됩니다. 행동 구간 길이는 방법론에 명시되어 있습니다.
세계 모델링
저자들은 앞 단계에서 수집한 놀이 데이터셋을 사용해, 최근 관측 이력과 입력 행동 청크를 조건으로 미래 관측을 예측하는 세계 모델을 학습합니다. 문맥 길이와 예측 구간은 모델에 명시되어 있습니다.
학습 목적 함수는 세계 모델의 파라미터로 구성된 일반적인 형태를 가집니다. 행동 조건부 세계 모델은 Diffusion Forcing을 사용해 학습합니다. 이 방법은 각 시점의 관측에 서로 독립적인 노이즈 수준을 지정하고 인과적으로 노이즈를 제거하도록 학습합니다. 이를 통해 모델은 관측된 깨끗한 이력을 조건으로 삼으면서 미래 관측의 노이즈를 점진적으로 제거해, 후보 행동 시퀀스에 따른 자기회귀 롤아웃을 지원합니다.
정책 증류
실행 시 정책은 실제 관측 이력과 목표를 입력받아 행동 프리픽스를 직접 예측합니다. 프리픽스를 실행한 뒤 새로운 관측을 바탕으로 예측을 갱신합니다. 그 결과 모델 예측 제어(MPC) 탐색을 상각하는 폐루프 정책이 구현됩니다.
실험
실험에서는 DSP가 목표 없는 놀이를 과제 전반과 실제 하드웨어에서 목표 지향 조작으로 전환할 수 있는지, 놀이 유도 MPC가 직접 정책 학습 및 과제별 강화학습보다 상호작용 효율성이 높은지, 그리고 놀이 정책 설계와 자율 놀이의 규모 및 세계 모델 설계가 예측과 제어에 어떤 영향을 미치는지 평가합니다.
실험 설정
재배향 과제의 경우 과제 오차와 목표 제약 조건은 논문에서 정의합니다. Task B에서는 명시된 제약 조건을 적용하고, 지정된 방향 범위에서 초기 방향과 목표 방향을 균일하게 표본 추출합니다. 이를 통해 제약 없는 무작위 목표 프로토콜에 포함되는 짧은 변위 시도를 제외합니다.
분석
논문은 실제 환경에서의 추론 지연 시간을 요약합니다. 인식과 계획은 로컬 네트워크를 통해 단일 RTX 5090에서 실행됩니다. 큐브 추적은 카메라의 30 fps 속도에 맞춰 동작하며, 재계획에는 매번 134 ms가 소요됩니다. 이 중 61 ms는 놀이 정책 후보 1,024개를 샘플링하는 데, 44 ms는 배치 세계 모델 롤아웃에, 23 ms는 점수 산정과 개선에 쓰입니다.
배치 후보 평가와 행동 청크화를 통해 실시간 제어가 가능합니다. 계획 계산은 현재 행동 프리픽스의 실행과 겹쳐 진행되므로, 다음 계획을 계산하는 동안에도 손은 계속 움직입니다. 이를 통해 폐루프 시스템은 15–18 Hz로 실시간 작동할 수 있습니다.
놀이 정책으로서의 행동 기반 파운데이션 모델
놀이 정책의 모듈식 역할은 행동 기반 파운데이션 모델과의 연관 가능성을 시사합니다. 더 광범위한 사전학습 모델은 초기 상호작용 레퍼토리를 제공하고, 자율 경험은 예측된 결과를 특정 로봇과 환경에 맞게 기반화할 수 있습니다. 유망한 향후 방향은 대규모 행동 모델을 활용해 일반화 가능한 놀이 정책으로 전환하는 것입니다.
결론
Dexterity from Supervised Play는 제한된 목표 없는 인간 놀이를 자율적인 접촉 중심 데이터, 행동 조건부 세계 모델, 그리고 놀이 유도 MPC를 통한 목표 지향 제어로 전환합니다. 시뮬레이션에서 학습된 모델은 계수된 학습 프레임 기준으로 PPO-Match보다 훨씬 적은 상호작용만으로 임의의 목표에 대한 재배향을 지원합니다. 또한 모델 스택을 통제한 비교에서는 고정된 플래너를 사용할 때 목표 달성 성능이 향상되는 것으로 나타났습니다.
실제 로봇 데이터에서는 자율 놀이의 규모가 커질수록 홀드아웃 예측 성능이 꾸준히 향상됩니다. 잠정적인 하드웨어 요약 결과는 세계 모델 탐색의 이점과 일치하지만, 최종 과제 성공 주장을 뒷받침하려면 고정된 프로토콜과 불확실성 분석이 필요합니다. 최종 평가에는 Push-T와 RGB 재배향이 모두 포함됩니다. 두 평가의 고정된 정량 결과와 호기심, 놀이 정책 및 세계 모델 아키텍처를 일치시킨 비교 결과는 아직 추가되어야 합니다.
자주 묻는 질문
Dexterity from Supervised Play란 무엇인가요? DSP는 인간 놀이 데이터 일부를 이용해 재사용 가능한 자율 데이터 수집용 정책을 학습한 뒤, 놀이 유도 MPC를 사용해 목표 지향 제어를 수행합니다.
세계 모델은 미래 관측을 어떻게 예측하나요? 최근 관측 이력과 입력 행동 청크를 조건으로 예측합니다. Diffusion Forcing는 미래 관측의 노이즈를 인과적으로 제거하도록 모델을 학습합니다.
시스템은 실시간으로 어떻게 작동하나요? 배치 후보 평가와 행동 청크화를 통해 계획과 실행을 겹쳐 진행할 수 있습니다. 보고된 폐루프 시스템은 15–18 Hz로 작동합니다.
어떤 실제 로봇 평가가 포함되나요? 최종 평가에는 Push-T와 RGB 재배향이 포함됩니다. 논문에 따르면 고정된 정량 결과와 여러 비교 결과는 아직 추가되어야 합니다.