4.4 범용 정책 개선을 가능하게 하는 요인은 무엇인가?
학습 레시피를 대규모로 평가한 뒤, 멀티태스크 VLA 후학습의 핵심 설계 결정을 검증하고 크리틱 기반 정책 추출을 위한 몇 가지 대안 기법을 살펴봅니다. 데이터 및 연산 규모 확장과 리소스 할당을 포함한 추가 절제 실험은 부록 C를 참조하세요.
5 논의
이 연구의 주된 목표는 동역학 시스템에서 온라인 자기 개선의 메커니즘과 추세를 이해하는 데 기여하는 것입니다. 이번 결과는 향후 연구를 위한 유망한 출발점이라고 생각합니다. 향후 연구에서는 우리가 도출한 간단하고 확장 가능한 강화학습 레시피를 바탕으로, 실제 하드웨어에서 대규모 멀티태스크 후학습이 가져오는 이점을 연구할 수 있습니다.
재현성 선언
3.3절 끝에 기재된 URL에서 전체 학습 파이프라인의 코드를 공개해 재현성을 보장합니다. 사용된 데이터는 모두 온라인으로 수집되며, 결과를 재현하는 데 오프라인 데이터셋은 필요하지 않습니다. 학습 세부 정보, 하이퍼파라미터, 과제 분할도 부록 D에 보고합니다.
D.4 평가 프로토콜
LIBERO와 MolmoSpaces 모두에서 각 정책을 분포 내 과제와 미관측 과제에 대해 평가합니다. LIBERO의 미관측 과제 집합은 25개 과제로 구성됩니다. MolmoSpaces에서는 144개 과제 분할에 포함된 물체의 미관측 장면 8개와 미관측 물체 6개를 사용합니다(부록 D.1 참조). 전체 평가 지표는 성공률입니다.
학습 중에는 각 라운드에서 정책이 과제별로 수집하는 20개 에피소드에서 분포 내 성공률을 측정하므로, 평가 중간에 별도의 롤아웃을 추가로 수행할 필요가 없습니다. 마지막 학습 단계가 끝난 뒤에는 분포 내 과제와 미관측 과제 모두에서 과제별 32개 에피소드로 별도의 평가를 진행합니다. 모든 실험을 시드 3개로 반복하고, 시드별 평균 성공률과 rliable로 계산한 95% 층화 부트스트랩 신뢰구간을 보고합니다.
D.5 연산 리소스
실험은 NVIDIA GH200 GPU 4개가 장착된 노드에서 진행했습니다. 단일 과제 실행에는 과제에 따라 실제 경과 시간으로 약 2–5시간이 걸렸습니다. 가장 큰 멀티태스크 분할의 실행에는 200시간이 걸렸습니다.
자주 묻는 질문
정책 성능은 어떻게 측정했나요? 성공률을 지표로 사용했으며, 분포 내 과제와 미관측 과제 모두에서 측정했습니다.
학습 후 평가 에피소드는 몇 개 진행했나요? 별도의 평가 단계에서 분포 내 과제와 미관측 과제 모두에 대해 과제별 32개 에피소드를 사용했습니다.
무작위 시드는 몇 개 사용했나요? 모든 실험을 시드 3개로 반복하고, 평균 성공률과 95% 층화 부트스트랩 신뢰구간을 보고했습니다.
어떤 연산 리소스를 사용했나요? 실험은 NVIDIA GH200 GPU 4개가 장착된 노드에서 진행했습니다. 단일 과제 실행에는 약 2–5시간, 가장 큰 멀티태스크 실행에는 200시간이 걸렸습니다.