RPG는 세 단계에 걸쳐 구성 에이전트, 실행 에이전트, 특권 에이전트, 동영상 분석 에이전트, 구현 에이전트, 병합 에이전트 등 6개의 전문 에이전트를 조율합니다. 먼저 오프라인 데이터셋에서 시뮬레이션 연습 작업을 구성하고, 해당 작업을 연습하며 공유 로봇 실행 시스템을 개선한 다음, 최종적으로 개선된 시스템을 실제 로봇에 배포합니다. 실행 시스템은 에이전트-정책(Agent-as-Policy) 방식으로 구성됩니다. 멀티모달 실행 에이전트는 시스템 프롬프트에 따라 공유 스킬 라이브러리에서 재사용 가능한 스킬을 선택하고 조합해 각 작업을 완료합니다. 이러한 스킬은 인식과 로봇 제어를 위한 일반화 가능한 기본 기능을 제공하며, 재구성 및 연습 단계를 거쳐 구축되고 개선됩니다.
에이전트-정책 설정 및 초기화
RPG는 세 단계에 걸쳐 구성 에이전트, 실행 에이전트, 특권 에이전트, 동영상 분석 에이전트, 구현 에이전트, 병합 에이전트 등 6개의 전문 에이전트를 조율합니다. 먼저 오프라인 데이터셋에서 시뮬레이션 연습 작업을 구성하고, 해당 작업을 연습하며 공유 로봇 실행 시스템을 개선한 다음, 최종적으로 개선된 시스템을 실제 로봇에 배포합니다.
실행 시스템은 에이전트-정책 방식으로 구성됩니다. 멀티모달 실행 에이전트는 시스템 프롬프트에 따라 공유 스킬 라이브러리에서 재사용 가능한 스킬을 선택하고 조합해 각 작업을 완료합니다. 이 스킬은 인식과 로봇 제어를 위한 일반화 가능한 기본 기능을 제공하며, 아래 설명할 재구성 및 연습 단계를 거쳐 구축되고 개선됩니다.
재구성: 연습 작업 구축 및 고정
먼저 구성 에이전트가 오프라인 데이터셋에서 유용하고 다양한 조작 능력을 다루도록 원천 작업을 선택합니다. 선택된 각 원천 작업에 대해 3–8개의 궤적을 고르고, 관련 동영상과 텍스트 설명을 검토합니다. 원천 작업에 포함된 조작 능력을 파악하고 이를 연습할 시뮬레이션 작업을 제안합니다. 작업당 에이전트의 시간 예산은 7.5-minute입니다.
연습: 실행을 통한 시스템 개선
비대칭 액터-크리틱 학습은 시뮬레이터 전체 상태로 크리틱을 학습시키는 한편, 액터가 이미지에만 접근하도록 제한합니다. 반면 RPG는 별도의 실행에서 특권 상태를 사용해 실패를 진단합니다. 특권 상태 정보가 있으면 현재 스킬을 사용하는 실행 에이전트보다 특권 에이전트가 일부 작업을 더 안정적으로 완료할 수 있습니다. 성공적인 실행은 실행 에이전트의 개선을 이끌 수 있으며, 두 에이전트가 공통으로 실패하는 경우 공유 스킬의 결함을 드러낼 수 있습니다.
동영상 분석 에이전트는 처음 관찰된 실패를 찾아내고 구체적인 변경을 제안합니다. 프레임이나 추적 데이터를 근거로 진단을 뒷받침하고 변경으로 기대되는 물리적 효과를 설명합니다. 실행 시스템 자체를 수정하지는 않습니다. 진단과 제안은 수정을 위해 구현 에이전트에 전달됩니다.
실제 환경 적용: 배포를 위한 조정 및 고정
평가에 앞서 최종 RPG 시스템과 CaP-Agent0를 실제 YAM 로봇에 맞게 조정합니다. 두 시스템 모두 패드 오프셋과 빈 그리퍼의 개구 폭을 포함해 동일한 좌표 보정 및 하드웨어 조정을 적용받습니다. 특정 물체나 작업에 맞춘 추가 조정은 없습니다.
모든 실제 환경 평가에서는 추론 비용과 지연 시간을 줄이기 위해 낮은 추론 노력을 사용합니다. 이러한 조정 외에는 실제 환경의 피드백을 바탕으로 동작 코드를 변경하지 않습니다. 조정된 시스템은 평가 중 고정된 상태를 유지합니다. 실제 환경에 배포할 때는 특권 에이전트와 동영상 분석 에이전트를 사용하지 않습니다.
평가
평가는 다음 네 가지 질문을 중심으로 구성됩니다.
- Q1: 연습에 따라 작업 성공률은 어떻게 달라지며, RPG는 기존 에이전트와 비교해 어떤가?
- Q2: 진단 입력은 개선에 어떤 영향을 미치는가?
- Q3: 주변 실행 시스템을 고정한 상태에서 라이브러리 변경만으로 작업 완료율을 높일 수 있는가?
- Q4: 공통 조정 이후 결과 시스템이 실제 작업을 완료할 수 있는가?
Q1: RPG는 연습을 통해 개선되는가?
평가 예산
CaP-Agent0에는 에피소드당 최대 50회의 모델 턴이 주어집니다. RATs에는 최대 50회의 모델 턴과 1,200-second의 실제 경과 시간 제한이 주어집니다. RPG와 ASPIRE에는 최대 30회의 모델 턴, 12회의 모델 기반 관측 호출, 1,200-second의 실제 경과 시간 제한이 주어집니다.
자기 개선 모델
RPG는 자기 개선 과정에서 에피소드 사이에 실행 동영상 분석과 공유 실행 시스템 업데이트를 포함한 오프라인 코드 수정을 위해 Fable 5.1을 사용합니다. Gemini 3.8 Flash는 온라인 실행 중 작업별 프로그램을 생성합니다.
작업 완료
RPG는 220회 중 209회 성공(95.0%)을 달성해 모든 기준선 모델보다 높은 성능을 보입니다. CaP-Agent0로 평가한 네 모델 중에서는 GPT-6 Astra Pro가 220회 중 132회 성공(60.0%)으로 가장 우수하지만, Gemini 3.8 Flash를 사용한 RPG보다 낮습니다. Gemini CaP-Agent0는 220회 중 107회(48.6%), ASPIRE는 220회 중 166회(75.5%), RATs는 220회 중 92회(41.8%) 성공합니다.
Gemini CaP-Agent0와 비교하면 RPG는 19개 작업에서 개선되고 나머지 세 작업에서는 동률입니다. 두 작업 그룹 모두에서 성능이 향상됩니다. CaP-X 작업의 성공률은 51.4%에서 98.6%로, ABC에서 유래했거나 유사한 작업의 성공률은 47.3%에서 93.3%로 높아집니다.
RPG는 22개 작업 중 17개에서 10회 시도 모두 성공합니다. ASPIRE와 비교해 가장 큰 향상은 고정구 삽입과 병 놓기에서 나타나며, 두 작업을 합쳐 추가 성공 43회 중 15회를 차지합니다. ASPIRE는 서빙과 표준 큐브 정렬에서 RPG보다 한 번 더 성공합니다. RPG의 실패 11회 중 7회는 수건 접기에서 발생해, 이 평가에서 변형 가능한 물체의 조작이 주요한 잔여 실패 유형으로 남습니다.
라운드별 개선
RPG의 성공 횟수는 1라운드 후 220회 중 63회(28.6%)에서 15라운드 후 220회 중 209회(95.0%)로 증가합니다. 4라운드에는 CaP-Agent0의 네 가지 설정을 모두 앞서고, 5라운드에는 78.2%에 도달해 ASPIRE의 최종 성능인 75.5%를 넘어섭니다.
시스템 프롬프트를 고정한 뒤에도 4라운드와 15라운드 사이에 성공률이 21.4%p 더 증가합니다. 이 기간에 기존 스킬을 60회 수정합니다. 9, 11, 14, 15라운드에는 새로운 스킬을 추가하지 않고 기존 스킬만 수정합니다. 따라서 RPG는 라이브러리 확장뿐 아니라 공유 스킬 구현을 수정하는 방식으로도 개선됩니다.
평가 곡선은 엄격하게 단조 증가하지 않습니다. 6라운드와 14라운드에는 성공 횟수가 한 번 감소합니다. 이 수정은 개발용 5개 시드 검사에서는 통과했지만, 10개의 평가용 홀드아웃 시드 모두에서 성능을 개선하지는 못했습니다.
결론
RPG는 특권 실행을 사용해 실패를 진단하고 작업 전반에서 수정 사항을 검증함으로써 모델 가중치를 업데이트하지 않고도 지속적으로 사용할 수 있는 로봇 실행 시스템을 개선합니다. 홀드아웃 초기화 조건의 22개 작업에서 성공률은 첫 연습 라운드 후 28.6%에서 15라운드 후 95.0%로 증가해 ASPIRE(75.5%)와 GPT-6 Astra Pro를 사용한 CaP-Agent0(60.0%)를 앞섭니다.
절제 실험은 동영상 분석 에이전트와 특권 에이전트를 함께 사용하는 방식이 효과적임을 뒷받침합니다. 라이브러리만 변경하는 비교 실험은 스킬 수정에 따른 향상을 분리해 보여주며 작업 단위 검증의 중요성을 강조합니다. 기준선과 동일한 보정 및 하드웨어 조정 절차를 거친 뒤, 고정된 시스템은 실제 작업 세 가지에서 총 30회 모두 성공합니다. 이 결과는 공유 스킬 코드와 시스템 프롬프트가 지속적인 로봇 개선을 위한 실용적인 대상이 될 수 있음을 보여줍니다.
논의 및 한계
두 가지 병목 요인이 자기 개선을 제한합니다. 각 라운드에서 22개 작업 전체에 대해 실행 에이전트와 특권 에이전트의 궤적을 수집하지만, API 호출 한도가 병렬 롤아웃을 제한합니다. 작업 세트가 커지면 공유 스킬과 의존 항목에 대한 수정안이 서로 겹쳐 통합이 복잡해질 수도 있습니다. 향후에는 사용량 한도를 고려한 롤아웃 일정 수립과 의존성을 고려한 제안 통합을 통해 효율성을 높일 수 있습니다.
감사의 말
저자들은 유익한 논의와 피드백을 제공한 Zi Wang과 Bike Zhang에게 감사를 표합니다. 언어 편집과 원고 다듬기에는 OpenAI ChatGPT와 Anthropic Claude를 활용했습니다. 모든 기술적 내용, 분석 및 결론은 저자들이 작성하고 검증했습니다.
자기 개선 프로토콜
각 라운드가 시작될 때 실행 에이전트는 고정된 개발 초기화 조건 다섯 가지에서 모든 연습 작업을 시도합니다. 배포 시점에 이용할 수 있는 관측 정보와 실행 이력만 사용해 재사용 가능한 스킬을 선택하고 조합합니다.
이와 병행해 특권 에이전트는 일치하는 초기 상태에서 별도의 에피소드를 실행하며, 동일한 런타임 모델과 공유 스킬 라이브러리를 사용합니다. 특권 에이전트는 물체 정체, 위치 및 자세, 크기, 속도, 천 모서리 위치 등을 포함한 시뮬레이터 상태에 접근할 수 있다는 점만 다릅니다. 두 에이전트는 모두 배포 환경과 호환되는 동일한 스킬을 호출합니다. 스킬 자체에는 특권 상태가 전달되지 않습니다.
스킬 습득 및 개선의 정성적 사례
저자들은 자기 개선으로 로봇의 재사용 가능한 조작 행동이 어떻게 달라지는지 대표 사례를 제시합니다. 자기 개선 중 작업별 개발 성공률은 고정된 개발 초기화 조건 다섯 가지에서 측정되므로, 루프 내 성공률은 20%p 단위로 변합니다. 이후 후보 수정 사항은 부록 A에 설명된 대로 작업 간 전체 검증 절차에서 평가됩니다. 이러한 루프 내 개발 측정값은 본 실험에서 보고한 별도의 10개 시드 홀드아웃 평가와 구분됩니다.
병에 물건을 담기 작업은 이전에는 불안정했던 조작 능력을 습득한 사례입니다. 12라운드에서 루프 내 성공률이 1/5(20%)에서 5/5(100%)로 높아졌습니다.
이 개선 전에는 에이전트가 그리퍼를 용기 가까이 옮기는 것만으로 물체를 성공적으로 놓았다고 판단하는 경우가 많았습니다. 전체 파지-배치 궤적을 확인하지 않은 채 배치를 진행하거나, 도달 불가능한 경유점 이후에도 계속 움직이거나, 병이 테두리를 넘어 입구 안으로 들어갔는지 확인하지 않고 통 근처에서 병을 놓을 수 있었습니다.
개선된 행동은 용기 입구의 위치를 찾고, 전체 조작 경로를 점검하며, 손끝의 위치만이 아니라 병의 기하 구조를 고려합니다. 또한 병을 내리기 전에 테두리를 넘기고, 놓은 뒤에는 병이 용기 안에 들어갔는지 확인합니다. 요약하면 행동은 다음과 같이 달라집니다.
집기 → 용기 가까이 이동 → 놓기
이는 말단 장치 중심 조작에서 물체 중심 조작으로의 전환을 나타냅니다. 명령된 그리퍼 자세에 도달하는 것을 원하는 물리적 상태를 달성한 것과 더 이상 동일시하지 않습니다.
시뮬레이션 작업 모음
RPG는 YAM 스테이션의 양팔 조작 작업 22개로 구성된 작업 모음에서 평가됩니다. 각 작업 명세에는 시뮬레이션 장면, 언어 지시, 실행 예산, 시뮬레이터 상태를 바탕으로 최종 결과를 평가하는 이진 평가기가 고정되어 있습니다. 진단을 위해 정책 자체의 성공 주장도 기록하지만, 성공 여부 판정에는 영향을 주지 않습니다.
작업 모음에는 개발 작업 17개, 검증 작업 1개, 피드백이 제외된 작업 4개가 포함됩니다. 개발 작업에서는 작업별 실패 피드백을 제공하고 후보 수정 사항을 생성할 수 있습니다. 검증 작업인 큐브 다시 쌓기는 후보 수정 사항을 생성하지 않으며 작업 간 회귀 검사용으로 사용됩니다. 부록 D의 전이 분석에는 피드백 제외 작업만 사용되므로, 검증 작업은 해당 작업들과 별도로 보고합니다.
피드백 제외 작업 네 가지는 접시에 서빙하기, 양팔 핸드오버, 물체 옮기기, 선글라스 케이스 닫기입니다. 이 작업들은 동영상 분석 에이전트의 분석 대상이 아니며 작업별 후보 수정 사항을 생성하는 데 사용되지 않습니다. 작업 간 검증에서는 회귀 검사로만 남습니다.
모든 작업은 동일한 관측 인터페이스를 사용합니다. 상단 카메라와 양쪽 손목 카메라의 RGB 이미지, 상단 카메라의 깊이 정보, 로봇의 고유 감각 정보가 포함됩니다. 초기 조건에서는 물체 위치와 마찰력, 질량, 테이블 높이, 카메라 자세, 깊이 노이즈 등 일부 물리적 매개변수를 무작위화한 뒤, 실행 전에 일정 시간 동안 안정화합니다. 각 시험은 하나의 에피소드로 구성됩니다. 스킬 호출 횟수와 로봇 실행 시간에 대한 작업별 제한은 작업 정의의 일부입니다.
별도의 언급이 없는 한 작업 성공 여부는 시뮬레이터의 최종 상태를 기준으로 판정합니다. RATs는 자체적인 임의 시점 성공 판정 기준을 따릅니다.
벤치마크는 서로 다른 조작 목표를 포착하는 9가지 평가기 유형을 사용합니다. 대부분의 배치 작업에는 all_in_targets 평가기가 사용되며, 모든 필수 물체가 작업별 수평 및 수직 허용 오차 범위 내의 목표 위치에 있는지 확인합니다. 그 밖의 평가기는 들어 올리기, 관절 구조물 닫기, 꺼내기, 쌓기, 다시 쌓기, 양팔로 수평 유지하며 들어 올리기, 잔해 제거, 천 접기를 확인합니다.
일부 평가기에는 비정상적인 해법을 배제하기 위한 추가 조건이 있습니다. 예를 들어 고정구 전체를 옮겨도 꺼내기 작업을 완료한 것으로 인정되지 않으며, 처음부터 쌓여 있는 장면은 밑에 있는 큐브 자체를 옮기지 않으면 다시 쌓기로 인정되지 않습니다.
자주 묻는 질문
RPG는 로봇 작업 성능을 어떻게 개선하나요? 실행 실패를 진단하고 재사용 가능한 스킬의 공유 라이브러리를 수정한 뒤, 모델 가중치를 업데이트하지 않고 작업 전반에서 변경 사항을 검증합니다.
실행 에이전트와 특권 에이전트는 각각 어떤 역할을 하나요? 실행 에이전트는 배포 시점의 관측 정보만으로 동작하고, 특권 에이전트는 별도의 실행에서 시뮬레이터 상태를 사용해 실패 진단을 지원합니다.
RPG는 시뮬레이션에서 어느 정도의 성능을 보이나요? 22개 작업에서 15회 연습 라운드 후 220회 중 209회 성공(95.0%)을 달성합니다.
조정된 시스템은 실제 로봇에서도 작동하나요? 고정된 시스템은 공통 보정 및 하드웨어 조정을 거친 뒤 실제 작업 세 가지에서 총 30회 모두 성공합니다.