범용 로봇공학의 비전은 물체와 배치, 지시가 계속 바뀌는 복잡한 실제 환경에서 폭넓은 작업을 안정적으로 수행하고, 경험을 통해 계속 개선되는 로봇을 개발하는 것입니다. 이에 따라 로봇 에이전트의 목표는 에피소드 단위의 작업 완료에서 지속적인 역량 축적으로 바뀝니다. 실패한 파지, 오래된 물체 위치 정보, 복구 상황은 로봇이 관련 역량을 파악하고 실행 증거를 활용해 이를 개선한 뒤, 개선된 동작을 이후 작업에서도 활용할 수 있을 때에만 가치가 있습니다.
하지만 실행 경험은 그 의미를 부여하는 작업 구조를 중심으로 정리해야만 재사용 가능한 역량이 됩니다. 수정 사항은 이를 촉발한 목표와 연결되어야 하고, 관찰된 동작을 담당하는 역량에 속해야 하며, 재사용 전에 검증되어야 합니다. 이런 구조가 없으면 반복된 시도로 인해 전체 궤적이 컨텍스트를 가득 채우고, 국소적인 수정은 전체 목표에서 벗어나며, 사람은 환경을 초기화하고 로그를 읽으며 각 수정 사항을 어디에 적용할지 결정하는 일에 다시 투입됩니다.
우리의 관찰에 따르면, 이 구조는 로봇을 지휘하는 사람과 동작을 구현하는 에이전트 모두를 지원해야 하며, 이를 위해 서로 보완적인 두 가지 추상화가 필요합니다. 인간 친화적 조정을 통해 사람은 자신이 필요로 하는 서비스 수준에서 목표, 도메인 지식, 제약 조건, 안전성 판단을 표현할 수 있습니다. 에이전트 친화적 구조는 에이전트에 작업 관련 컨텍스트와 명시적인 인터페이스를 제공하고, 실행과 수정에 대한 책임 범위를 한정합니다.
이러한 관찰을 바탕으로, 우리는 하향식 스킬 개선(Top-Down Skill Refinement, TSR)에 따라 구성된 로봇 자기 개선용 다중 에이전트 시스템 RoboRSI를 소개합니다. TSR은 각 작업을 복합·원자·기본 스킬로 분해하고, 각 스킬에 범위가 정해진 책임과 명시적인 입력–출력 계약을 부여합니다. 또한 각 실행 결과를 담당 분기에 귀속하고, 수정 범위를 해당 분기로 한정합니다. 분해가 적절하지 않으면 작업 구조를, 조합이 신뢰할 수 없으면 해당 복합 스킬을, 작업 실행이 실패하면 담당 원자 스킬 또는 기본 스킬을 수정합니다. Manager, Planner, Engineer, Reviewer가 계획, 실행, 진단, 검증된 배포를 수행하며, 안정적인 스킬 시퀀스는 복합 스킬로 통합됩니다. 이후 실행에서는 모든 도구 선택을 매번 재구성하는 대신, 복합 스킬을 선택하고 모니터링합니다.
우리는 장면이 바뀌는 상황에서 모바일 매니퓰레이터가 여러 가정용 물체를 정리하고, 104회에 걸쳐 스킬을 개발하는 과정을 통해 RoboRSI를 평가했습니다. 또한 LIBERO, LIBERO-PRO, RoboTwin에서 로봇 에이전트 기준 방법들과 시뮬레이션 성능을 비교하고, 고정된 역량을 LIBERO-Plus로 전이했습니다. RoboRSI는 네 가지 벤치마크 모두에서 가장 높은 성공률을 달성했으며, 가장 강력한 기준 방법보다 LIBERO에서 5.3포인트, LIBERO-PRO에서 11.0포인트, LIBERO-Plus에서 5.7포인트, RoboTwin에서 2.7포인트 높았습니다.
기여점은 세 가지입니다.
- 로봇 자기 개선을 위한 상호 보완적 추상화: 실행 경험은 그 의미를 부여하는 작업 구조와 연결될 때에만 재사용할 수 있습니다. 이 구조는 인간 친화적 조정과 에이전트 친화적 구성을 모두 지원해야 합니다.
- RoboRSI 프레임워크: 이 시스템은 하향식 스킬 개선을 통해 각 원자 작업의 사후조건을 완료 전에 확인하고, 각 실패를 계층 구조에서 가장 먼저 실패한 노드에서 수정합니다. 또한 다중 에이전트 실행–개선 루프를 통해 여러 작업에 걸쳐 스킬을 검증하고 배포합니다.
- 실제 환경 및 시뮬레이션 평가: 모바일 매니퓰레이터를 이용한 104회 스킬 개발, 네 가지 시뮬레이션 벤치마크에서의 최고 성공률, 역할 분리·스킬 개선·복합 스킬에 대한 제거 실험을 수행했습니다.
방법
복잡한 실제 가정에서 여러 차례 실행을 거치며 가정용 정리 작업을 개선하도록 요청받은, 로봇 도구에 직접 연결된 코딩 에이전트를 생각해 보겠습니다. 컨텍스트는 이전 실행 기록으로 가득 차고, 시퀀스 후반에 관찰된 실패는 예를 들어 놓기 단계에 재시도를 추가하는 식으로 발생한 위치에 바로 수정이 적용됩니다. 하지만 그 실패의 원인은 인식이나 내비게이션일 수 있습니다. 또한 최신 프롬프트에 목표가 암묵적으로만 드러나기 때문에, 연이어 이루어지는 수정은 최신 장면에 맞춰 최적화됩니다. 결국 사람은 로그를 읽고 각 수정 사항을 어디에 적용할지 판단하는 일에 다시 투입됩니다. RoboRSI는 사람의 의도와 에이전트의 작업을 모두 명시적으로 표현해 이러한 부담을 덜어 줍니다.
전체 프레임워크
RoboRSI는 반복적인 로봇 실행을 위에서 설명한 두 가지 추상화에 따라 정리된, 점점 확장되는 재사용 가능 스킬 라이브러리로 바꿉니다. 인간 친화적 조정은 사람이 작업 수준에서 목표, 제약 조건, 도메인 지식, 수정 사항을 전달하는 경로입니다. 각 수정 사항은 담당 스킬에 유지되는 지침으로 보관됩니다. 에이전트 친화적 구조는 에이전트가 작업하는 작업–스킬 계층 구조입니다. 모든 작업과 스킬에는 인터페이스, 명시된 책임, 최근 실행 기록이 있으므로, 각 에이전트는 현재 단계와 관련된 계층 구조의 부분만 전달받습니다.
프레임워크의 개발 라운드는 다음과 같이 진행됩니다. 에이전트는 명시된 목표를 분해하고 배포된 스킬을 바탕으로 계획한 다음, 기본 스킬까지 내려가며 실행합니다. 이어서 관찰 가능한 증거와 도구 실행 기록을 바탕으로 가장 먼저 실패한 노드를 찾고, 그 결과로 나온 업데이트를 검증한 뒤 다음 라운드를 위해 배포합니다. 사람은 첫 단계에서, 그리고 수정이 필요할 때마다 방향을 제시합니다.
하향식 스킬 개선
실제 작업 개발 중의 작업–스킬 구조
실제 로봇에서 수행한 두 가지 TSR 수정
실험
실제 로봇 배치 결과와 시뮬레이션 결과를 보고한 뒤, 개별 에피소드를 비교하고 제거 실험 결과를 요약합니다.
실제 로봇 사례 연구
WheelSingleArm M1 모바일 매니퓰레이터를 이용한 가정 내 바닥 정리 작업을 연구합니다. 로봇은 물체를 탐색하고, 물체에 접근해 파지한 뒤, 지정된 수납 장소로 옮깁니다. 사례 연구에는 누적 작동 시간 24시간에 걸친 실제 개발 실행 104회가 포함됩니다. 각 실행 전에 장면을 공통 기본 배치로 복원하되, 물체와 수납 장소는 일부 무작위화하고 내비게이션 지도는 고정된 상태로 둡니다. 플랫폼 세부 사항과 초기화 절차는 부록에 제시합니다.
사례 연구
RoboRSI가 성공하고 기준 방법들이 동일한 초기 상태에서 실패한 세 가지 에피소드를 살펴본 다음, 수정된 스킬이 개발 대상이 아니었던 작업에 재사용되는 과정을 추적합니다.
LIBERO-Plus의 작업은 크림치즈 포장을 바구니에 넣는 것입니다. OpenETA의 통합 집기·놓기 도구는 물체가 목적지에 놓였다고 보고했고, 에이전트는 즉시 성공을 선언했습니다. CaP-X의 놓기 동작도 물체가 놓였다고 보고했지만, 바구니 안에 들어갔는지는 확인되지 않았습니다. 두 에피소드 모두 실패했습니다. 고정된 원본 라이브러리를 사용하는 RoboRSI는 그리퍼가 열리지 않았다는 놓기 결과를 받았습니다. 작업을 끝내는 대신, 여전히 포장을 잡고 있는지 확인하고 머리 방향 및 상단 시점에서 바구니를 다시 관찰한 뒤 포장을 다시 놓아 성공했습니다.
제거 실험
역할 분리, 계층적 개선, 코드 통합, 백본 선택을 각각 살펴보고, 실행 데이터로부터의 정책 학습도 추가로 분석합니다. 백본 연구에서는 LIBERO-PRO와 RoboTwin의 작업 패널을 사용하고, 작업별 평가 에피소드는 세 개로 설정했습니다. 백본별 에피소드 수는 각각 360회와 150회입니다.
RoboTwin의 50개 작업에서 단일 에이전트를 사용하는 개발 방식과 역할을 분리하는 방식을 비교합니다. 단일 에이전트 조건에서는 한 명의 Engineer가 직접 시도할 계획을 세우고, 실행하고, 결과를 판단합니다. 다중 에이전트 조건에서는 Planner가 계획을 구성하고 Engineer가 실행하며, Reviewer가 관찰 결과와 도구 실행 기록을 바탕으로 각 결과를 진단합니다. 단일 에이전트는 50개 작업 중 9개를 해결한 반면, 다중 에이전트 시스템은 36개를 해결했습니다. 진단을 실행과 분리하면 실행 에이전트가 자기 결과를 판단하는 대신, 다음 시도 전에 모든 실패를 독립적으로 검토할 수 있습니다.
결론 및 향후 연구
RoboRSI는 하향식 스킬 개선과 다중 에이전트 협업을 결합해 실행, 진단, 국소 수정, 재사용 가능한 역량을 체계화하고, 복잡한 실제 환경에서 안정적이고 효율적이며 재사용 가능한 로봇 자기 진화를 지향합니다. 향후 연구에서는 시뮬레이션에서 얻은 경험을 실제 로봇으로 전이하고, 로봇 및 플랫폼 간에 스킬을 공유할 예정입니다.
탐색적 개발
초기 LIBERO-Plus 실행에서는 대상 벤치마크에 대한 역량 업데이트도 허용했습니다. 해당 설정에서는 반복 시도와 대상 측 업데이트가 허용된 반면, 주요 LIBERO-Plus 전이 실험에서는 원본 역량을 고정했습니다.
25라운드와 33라운드의 실제 스킬 수정
두 기록 모두 모바일 매니퓰레이터를 이용한 가정 내 정리 작업에서 나온 것입니다. 각 수정 사항은 이를 촉발한 실행, 재생 버퍼에 포함된 최근 적격 실행 4회, 변경된 파일과 함께 승인되었습니다. 검증이 끝날 때까지 실시간 반복 작업은 중단했습니다.
자주 묻는 질문
RoboRSI란 무엇인가요? RoboRSI는 실행, 진단, 스킬 수정, 검증된 배포를 체계화하는 로봇 자기 개선용 다중 에이전트 시스템입니다.
하향식 스킬 개선은 어떤 역할을 하나요? TSR은 실행 결과를 담당 작업 또는 스킬에 귀속하고, 계층 구조에서 가장 먼저 실패한 부분으로 수정 범위를 한정합니다.
실제 로봇에서 RoboRSI를 어떻게 평가했나요? WheelSingleArm M1 모바일 매니퓰레이터가 누적 작동 시간 24시간에 걸쳐 104회의 개발 실행 동안 가정 내 바닥 정리 작업을 수행했습니다.
RoboTwin에서 다중 에이전트 구성은 단일 에이전트와 어떻게 비교되었나요? 단일 에이전트는 50개 작업 중 9개를 해결했고, 다중 에이전트 시스템은 36개를 해결했습니다.