신뢰성 높은 로봇 조작을 위한 계층적 사후 학습 (2026)

방법론

로봇 조작 제어를 위한 계층적 분해 프레임워크 HiRoC를 제안한다. HiRoC는 플래너와 실행기를 상호 보완적인 두 모듈로 구성한다. 지도 미세 조정(supervised fine-tuning, SFT)으로 학습한 플래너는 현재 상황에 따라 하위 목표를 생성한다. 이 하위 목표는 실행기의 의사 결정을 유도하며, 실행기는 SFT와 강화학습(reinforcement learning, RL) 조정을 통해 학습한다.

SFT를 통한 플래너 학습

기존 임바디드 AI 백본은 작업을 하위 작업으로 분해하고 그에 맞는 하위 목표를 동적으로 생성하는 데 한계가 있다. 이를 해결하기 위해 플래너를 SFT로 미세 조정한다. 그러나 플래너 학습에 필요한 데이터는 충분하지 않다. 따라서 기존 데이터셋을 정제하고 재구성해 플래너 학습에 활용한다.

플래너 학습

준비된 궤적을 바탕으로 플래너는 현재 관측을 조건으로 해당 하위 목표를 생성하도록 SFT 방식으로 최적화된다. 구체적으로 재구성된 데이터셋이 주어졌을 때 SFT 목적 함수는 다음과 같이 정의된다.

SFT 목적 함수는 현재 관측과 재구성된 학습 데이터를 바탕으로 적절한 하위 목표를 예측하도록 플래너를 학습한다.

실험

플래너로 Qwen2.5-VL-3B를 사용하고, 준비한 데이터에 LoRA를 적용해 미세 조정한다. 실행기로는 OpenVLA-OFT를 사용한다. 먼저 재구성한 하위 목표 조건부 데이터에 LoRA 기반 SFT를 적용해 실행기를 미세 조정한 뒤, 강화학습 조정을 수행한다.

GRPO의 그룹 크기는 8로 설정했다. 평가에서는 각 작업마다 50개의 테스트 에피소드를 수행하고, 각 작업 및 벤치마크 모음에 대한 평균 성공률을 보고한다. 모든 실험은 NVIDIA H200 GPU 8개에서 진행했다. HiRoC는 대표적인 기준선 10개와 비교했다. 자세한 내용은 부록에 제시한다.

전이 능력: 제로샷 성능

HiRoC의 일반화 능력을 평가하기 위해 LIBERO-Plus에서 검증을 수행했으며, OpenVLA, OpenVAL*-One, WorldVLA와 비교했다. 각 변형 유형의 성공률과 평균 성공률을 보고한다.

HiRoC는 모든 변형 유형에서 가장 뛰어난 일반화 성능을 달성했다. OpenVLA와 같은 SFT 기반 모델을 크게 앞선 결과는 온라인 상호작용이 정적인 풀샷 데이터셋보다 훨씬 다양한 궤적을 탐색한다는 점을 보여준다.

WorldVLA는 환경 동역학을 모델링해 일반화 성능을 높이지만, 여전히 환경 변화에 민감하며 새로운 작업에 적응하려면 추가 데이터가 필요하다. 반면 HiRoC는 목표를 하위 목표로 분해해 실행기가 각 하위 목표에 집중하도록 하므로 실행기의 부담을 줄인다.

실제 환경 실험

HiRoC의 실용성을 검증하기 위해 실제 로봇 플랫폼에서 시뮬레이션-실세계(sim-to-real) 실험을 수행했다. 학습 과정에서 실행기는 고충실도 시뮬레이터에서만 최적화했으며, 작업 공간과 물체 크기, 로봇 구성은 실제 시스템과 동일하게 설정했다.

학습된 VLA 정책은 추가 미세 조정 없이 실제 로봇에 바로 배포했다. 플래너가 생성한 하위 목표의 안내에 따라 실행기는 목표 물체에 접근하고, 이를 잡아 옮긴 뒤 지정된 위치에 성공적으로 놓았다.

성공적인 배포 결과는 실제 로봇 조작에서 HiRoC의 효과와 유망한 시뮬레이션-실세계 전이 능력을 입증한다.

결론

고수준 플래너와 저수준 실행기로 구성된 계층적 사후 학습 프레임워크 HiRoC를 제안했다. SFT로 학습한 플래너는 복잡한 작업을 더 단순한 하위 작업으로 분해하고, 실행을 안내할 하위 목표를 생성한다.

두 모듈 사이의 데이터 분포 불일치를 해결하기 위해 하위 목표 조건부 데이터셋을 재구성하고, RL 조정을 통해 실행기를 추가로 최적화했다. 실험 결과와 광범위한 분석은 HiRoC 및 각 구성 요소의 효과를 보여준다.

HiRoC는 로봇 조작에서 계층적 분해의 가치를 입증했지만, 향후 연구에서는 실제 물리 시스템의 불확실성을 처리할 수 있도록 엔드투엔드 학습과 더욱 견고한 분해 메커니즘을 탐구할 예정이다. 복잡한 로봇 조작에서 계층적 작업 분해와 강화학습 기반 정책 최적화를 결합하는 일이 중요하다는 점을 HiRoC가 보여주기를 기대한다.

실험 세부 사항

시뮬레이션 실험

Spatial, Object, Goal, 장기 작업용 LIBERO-10을 포함한 네 가지 LIBERO 벤치마크 모음에서 모든 실험을 수행했다.

기존 연구를 따라 각 모음의 소규모 시연 데이터로 사전 학습된 OpenVLA-OFT 모델을 먼저 미세 조정해 모음별 기본 실행기를 얻었다. 고수준 플래너는 Qwen2.5-VL-3B로 초기화한 뒤, 엄선한 플래너 데이터셋에 SFT를 적용해 중간 언어 하위 목표를 생성하도록 학습했다.

실제 환경 실험

실제 환경 실험은 JoySim에서 수행했으며, 기본 VLA 모델로 JoyRA-0.1을 사용했다. 작업은 로봇이 탁자 위의 수정액 병을 잡아 상자 안에 넣는 것이다.

고수준 플래너는 Qwen2.5-VL-3B로 초기화하고 SFT로 미세 조정했으며, 저수준 실행기는 JoyRA-0.1로 초기화한 뒤 시뮬레이션에서 강화학습을 통해 Flow-SDE로 최적화했다.

학습 후에는 추가적인 실세계 미세 조정 없이 학습된 정책을 실제 로봇 플랫폼에 바로 배포해 제로샷 평가를 수행했다.

프롬프트 세부 사항

고수준 플래너와 저수준 실행기에 사용한 프롬프트는 논문에 제시되어 있다.

사례 연구

대표적인 조작 사례들은 장기 로봇 작업에서 HiRoC의 효과를 보여준다. 전역 지시를 계속 조건으로 사용하는 평면적 VLA 정책과 달리, HiRoC는 고수준 플래너를 통해 복잡한 작업을 순차적인 하위 목표로 명시적으로 분해한다. 이에 따라 실행기는 현재 조작 목표에 집중할 수 있다.

한 사례에서 로봇은 크림치즈를 집어 바구니에 넣어야 한다. 플래너는 먼저 “크림치즈에 접근”이라는 하위 목표를 생성해 실행기가 목표 물체를 찾고 접근하도록 유도한다. 물체에 접근한 뒤에는 목표를 “크림치즈 들어 올리기”로 갱신해 실행기가 정확한 잡기 동작을 수행하도록 한다.

이후 하위 목표는 각각 “바구니로 이동”과 “바구니에 넣기”로 변경된다. 단계별 의미 정보를 제공함으로써 HiRoC는 전체 작업 지시를 곧바로 실행할 때 발생하는 모호성을 피하고, 장기 조작 과정을 성공적으로 완료한다.

두 번째 사례는 서로 다른 공간적 목표물과 순차적으로 상호작용해야 하는 작업을 HiRoC가 처리하는 능력을 보여준다. 그릇을 아래쪽 서랍에 넣으라는 지시에 대해 플래너는 작업을 접근, 들어 올리기, 놓기의 단계로 점진적으로 분해한다.

실행기가 전역 지시만 보고 전체 조작 절차를 추론하도록 요구하는 대신, 각 하위 목표가 명확한 중간 목표를 제공한다. 그 결과 실행기는 현재 작업 단계에 맞춰 행동을 조정하고 실행 전반에서 일관된 진전을 유지할 수 있다. 이는 계층적 작업 분해의 장점을 보여준다.

세 번째 사례는 더 복잡한 다중 물체 조작 상황을 다룬다. 여기서 로봇은 모카포트 두 개를 스토브 위에 올려야 한다. 플래너는 먼저 실행기가 첫 번째 모카포트에 접근해 들어 올리도록 안내하고, 이어 스토브 위에 놓게 한 다음 두 번째 모카포트를 조작하기 위한 새로운 하위 목표를 생성한다.

이 사례는 HiRoC가 여러 조작 단계를 동적으로 구성하고, 동일한 물체 수준의 조작을 반복해야 하는 작업을 처리할 수 있음을 보여준다. 플래너가 생성한 하위 목표와 하위 목표 조건부 실행기 최적화를 결합함으로써 HiRoC는 장기 의사 결정에 신뢰성 높은 지침을 제공하고 작업을 견고하게 완수한다.