WorldSample은 실제 로봇 롤아웃에서 수집한 데이터로 월드 모델을 학습시켜 합성 훈련 데이터를 생성한 후, 정책 학습에 얼마나 많은 합성 데이터를 투입할지 신중히 조절하는 폐쇄 루프 프레임워크를 도입합니다. 합성 데이터 생성을 물리적 상호작용에 기반시키고 데이터 품질을 통제함으로써, 실제 환경 강화 학습을 가속화하면서도 가치 과대평가 같은 일반적인 문제를 피할 수 있습니다.
목차
연구진이 구축한 시스템
연구팀은 WorldSample을 개발했습니다. 이는 온라인 실제 환경 강화 학습(RL)을 위한 물리적 기반 데이터 증강 파이프라인으로, 실제-합성 데이터 루프와 정책-주도 학습(PPL)이라는 두 가지 긴밀하게 연결된 부분으로 구성됩니다. 데이터 루프는 온라인 상호작용 중 수집된 실제 로봇 롤아웃에서 시작됩니다. 이 롤아웃은 정책을 훈련시키는 동시에 월드 모델의 기반이 됩니다. 월드 모델은 실제 관찰과 반사실적 행동 시퀀스를 조건으로 합성 전이를 생성합니다. 그런 다음 보상 모델이 이 합성 전이에 레이블을 붙여 정책 학습에 사용합니다.
새로운 물리적 롤아웃이 누적됨에 따라, 이를 사용해 월드 모델을 사후 훈련시켜 합성 생성이 물리적으로 일관성을 유지하도록 하는 지속적인 피드백 루프가 형성됩니다. PPL은 두 가지 메커니즘을 통해 훈련에 유입되는 합성 데이터의 양을 제어합니다: Q-인지 샘플 선택(생성된 데이터에서 성공과 실패의 균형 조정) 및 불확실성 기반 스케줄링(정책 신뢰도에 따라 합성 데이터 비율 조정). 이 설계는 환각 결과를 추적하는 것을 방지하면서 데이터 증강의 이점을 누릴 수 있게 합니다.
주요 결과
WorldSample은 바이너리 그리퍼가 장착된 Galaxea A1X 로봇 암에서 다섯 가지 실제 조작 작업(Pushing, Insertion, Sorting, Pick & Place, Assemble)을 평가받았습니다. 기준선인 HIL-SERL 방법(실제 롤아웃 및 시연만 사용)과 비교하여 WorldSample은 모든 작업에서 더 높은 성공률을 보였고 더 빠르게 수렴했습니다.
이 프레임워크는 특정 성능 수준에 도달하는 데 필요한 실제 로봇 롤아웃 횟수를 줄여 실제 상호작용 비용을 크게 절감했습니다. Insertion 및 Assemble과 같은 정밀 조작 작업에서 가장 큰 성과를 보였는데, 합성 데이터가 정책이 접촉이 많은 영역을 하드웨어 손상 없이 탐색할 수 있도록 도왔기 때문입니다. WorldSample은 또한 제약 없는 생성 방법과 비교하여 월드 모델 예측의 비디오 충실도와 물리적 기반이 더 뛰어남을 보여주었습니다.
절제 연구를 통해 정책-주도 학습이 필수적임이 확인되었습니다: Q-인지 선택 또는 불확실성 스케줄링 중 하나를 제거하면 가치 과대평가와 성능 저하가 발생했습니다. 합성 데이터를 안전하게 활용하는 프레임워크의 능력은 더 샘플 효율적이고 안정적인 실제 로봇 RL 훈련으로 직결되었습니다.
작동 원리
WorldSample은 HIL-SERL 실제 로봇 RL 프레임워크를 기반으로 합니다. 실제 리플레이 버퍼는 온라인 환경 롤아웃을 저장하고, 시연 버퍼에는 전문가 시연 및 인간 안내 수정 작업이 포함됩니다. 핵심 혁신은 실제-합성 데이터 루프입니다: 실제 행동 시퀀스에서 시작하여, 시스템은 시간 구조와 행동 통계를 보존하는 제한된 국소 섭동을 적용하여 반사실적 행동 궤적을 샘플링합니다. 이 섭동된 시퀀스는 행동 조건부 월드 모델에 입력되어 결과 시각적 관찰(미래 프레임)을 예측합니다. 그런 다음 별도의 보상 모델이 작업 완료 여부에 따라 각 합성 전이에 점수를 매깁니다.
정책-주도 학습 모듈은 두 가지 방식으로 합성 데이터 사용을 규제합니다: - Q-인지 샘플 선택은 생성된 궤적의 성공과 실패 비율을 균형 있게 조정하여 비평가가 드물고 낮은 확률의 성공에 대해 지나치게 낙관적으로 되는 것을 방지합니다. - 불확실성 기반 스케줄링은 정책의 엔트로피를 불확실성의 대리 지표로 사용합니다. 정책이 불확실할 때(높은 엔트로피) 시스템은 합성 데이터를 보수적으로 사용하고, 정책이 수렴할수록(낮은 엔트로피) 더 많은 합성 데이터를 훈련에 허용합니다.
전체 시스템은 온라인으로 작동합니다: 실제 롤아웃이 수집되고, 월드 모델이 이에 대해 사후 훈련되며, 새로운 합성 데이터가 생성되고, PPL이 그 기여도를 조정합니다 — 이 모든 것이 정책 업데이트와 함께 폐쇄 루프로 이루어집니다. 이 설계는 합성 데이터가 물리적 현실에 기반을 두도록 보장하고, 많은 모델 기반 RL 접근법을 괴롭히는 통제 불능의 과대평가를 방지합니다.
로봇 공학에서의 의의
실제 환경 로봇 학습은 물리적 상호작용의 비용과 위험에 의해 병목 현상이 발생합니다. 공장 바닥이나 창고에서의 로봇 시간은 비쌀 수 있으며, 훈련 중 실패는 제품이나 장비를 손상시킬 수 있습니다. WorldSample은 모든 물리적 롤아웃에서 더 많은 학습 가치를 추출함으로써 이 문제를 직접 해결합니다 — 추가 하드웨어 시간 없이 훈련 경험 수를 효과적으로 배가시킵니다.
정밀 조립이나 분류 작업에 로봇 암을 배치하는 기업의 경우, 이는 더 빠른 배포 주기와 낮은 개입 비용을 의미합니다. 이 프레임워크는 표준 하드웨어에서 작동합니다: 실험에는 Galaxea 암과 Intel RealSense 카메라가 사용되었으며, 이는 현대 중고 협동로봇 및 중고 산업용 로봇 설정에서 흔히 볼 수 있는 구성 요소입니다. WorldSample은 기존 RL 파이프라인을 대체하지 않고 증강시키기 때문에, 주요 아키텍처 변경 없이 현재 로봇 학습 스택에 통합될 수 있습니다. 물리적 기반 데이터 증강의 원리는 조작 외에도 적용 가능합니다 — 창고 피킹, 빈 피킹, 심지어 휴머노이드 로봇도 유사한 폐쇄 루프 월드 모델링의 이점을 얻을 수 있습니다.
한계 및 미해결 과제
현재 WorldSample은 단일 작업과 비교적 고정된 장면 분포 내에서 작동합니다. 온라인 롤아웃 적응이 이 설정 내에서 월드 모델을 개선하지만, 새로운 작업, 객체 또는 환경으로의 일반화는 아직 해결되지 않았습니다. 월드 모델 자체는 작업별로 특화되어 있으며, 새로운 조작 기술마다 재훈련이나 미세 조정이 필요합니다. 또한, 프레임워크는 합성 데이터에 레이블을 붙이기 위해 보상 모델에 의존합니다 — 이 모델의 오류는 차선의 정책 학습으로 이어질 수 있습니다. 폐쇄 루프에서 월드 모델과 보상 모델을 실행하는 계산 오버헤드는 자원이 제한된 로봇 컨트롤러에서 실시간 배포에 문제가 될 수 있습니다.
자주 묻는 질문
WorldSample이 실제 로봇 상호작용을 완전히 대체합니까? 아니요. 실제 상호작용은 정책 훈련과 월드 모델 업데이트 모두의 기반이 되는 소스로 남아 있습니다. 합성 데이터는 물리적 롤아웃을 대체하지 않고 증강합니다.
WorldSample은 어떤 작업에 가장 적합합니까? 접촉이 많고 정밀한 조작 작업(예: 삽입, 조립, 분류)에 탁월하며, 합성 데이터가 위험한 물리적 상호작용을 안전하게 탐색하는 데 도움이 됩니다.
WorldSample은 모든 로봇 암과 비전 설정에서 작동합니까? 프레임워크는 카메라에 구애받지 않으며, 관찰과 행동을 스트리밍할 수 있는 모든 로봇과 호환됩니다. 실험에는 Intel RealSense 깊이 카메라가 장착된 Galaxea 암이 사용되었습니다.
정책-주도 학습은 수동 튜닝이 필요합니까? 아니요. 불확실성 기반 스케줄링은 자동화되어 있습니다 — 정책의 엔트로피를 읽고 그에 따라 합성 데이터 비율을 조정합니다. Q-인지 선택은 수동 가중치 없이 성공/실패 비율을 균형 있게 조정합니다.
결론
WorldSample은 월드 모델로부터 안전하고 물리적으로 기반한 합성 데이터를 생성하여 실제 로봇 강화 학습을 가속화하는 실용적인 방법을 제공합니다. 정책-주도 학습 메커니즘은 합성 데이터가 성능을 저해하지 않고 도움이 되도록 보장하며, 작업 능력에 도달하는 데 필요한 물리적 로봇 시간을 줄여줍니다. 이 폐쇄 루프 프레임워크는 과도한 하드웨어 위험 없이 로봇 기술 습득을 가속화하려는 팀에게 강력한 후보입니다.