실패를 복구하는 데 스킬을 재사용해 로봇 정책을 개선하는 방법 (2026)

로봇이 더 폭넓은 실제 작업을 수행하도록 확장하려면, 배치된 후에도 지속적인 인간의 지시에 의존하지 않고 정책을 계속 개선할 방법이 필요합니다. 새로운 물체, 장면의 변화, 사소한 실행 오류는 모두 작업 정책의 약점을 드러낼 수 있습니다. 단순히 시도 횟수를 늘려도 개선에 필요한 경험을 얻을 수는 없습니다. 로봇이 올바른 해결책을 찾지 못한 채 같은 실수를 반복할 수 있기 때문입니다. 사람은 해결책을 제시할 수 있지만, 로봇이 실패할 때마다 새로운 시연이나 수정을 요청하면 진전이 인간의 감독에 가로막힙니다. 따라서 자체적으로 교정 경험을 만들어내고, 처음 가르친 내용이 단일 작업을 넘어 유용하게 쓰이도록 하는 개선 절차가 필요합니다. 이러한 절차는 작업 정책을 개선하는 데 필요한 감독과 새로운 작업으로 일반화하는 데 필요한 추가적인 인간의 수고를 모두 줄일 수 있습니다.

방법

스킬 공간 슈팅은 학습된 스킬을 사용해 작업 정책이 실패할 가능성이 높은 지점에서 수정을 시도한 다음, 성공적인 복구 사례를 정책 학습에 활용합니다. 정책이 아직 전체 작업을 완수하지 못하더라도 스킬은 유용한 국소 행동을 제공할 수 있습니다. 이 기능을 감독 신호로 활용하려면 도움이 필요한 시점을 파악하고, 학습기가 현재 있는 상태에서 수정을 시험하며, 어려움을 해결한 행동을 보존해야 합니다. 이 절의 나머지 부분에서는 모델이 어떻게 실패를 감지해 슈팅 시도를 시작하는지, 여러 차례의 반복 과정에서 복구 사례가 어떻게 감독 신호가 되는지, 그리고 공유 스킬 라이브러리가 새로운 작업의 개선을 어떻게 뒷받침하는지 설명합니다.

언제, 어떻게 슈팅할지 결정하기

단순화를 위해 각 작업 단계에는 지정된 기본 동작이 하나씩 있습니다. 실제로 복구나 수정이 필요한 단계를 식별하면 어떤 스킬을 실행할지도 정확히 정해집니다. 확장성을 위해 작업 설명과 스킬 설명을 고정 프롬프트의 입력으로 사용하므로, 작업 전반에 동일한 선택 절차를 적용할 수 있습니다.

롤아웃 복구와 정책 개선

스킬 실행

수정 행동을 시험하기 위해 선택된 스킬은 작업 정책이 멈춘 지점에서 제어권을 넘겨받습니다. 앞선 오류로 물체의 위치나 접촉 상태가 달라졌을 수 있으므로, 스킬은 작업 정책이 실제로 도달한 상태에 대응해야 합니다. 이로써 실행된 행동은 유용한 감독 신호가 됩니다. 깨끗한 시작 상태에서 새로 시연하더라도 같은 어려운 실패 상태를 마주하지 않을 수 있기 때문입니다. 해당 단계가 복구되면 제어권은 작업 정책으로 돌아가 남은 단계를 시도합니다. 제어권을 돌려주면 작업 정책은 이미 잘 수행하는 행동을 활용하고, 동일한 롤아웃 안에서 추가 수정이 필요한 다른 어려움도 마주할 수 있습니다.

복구 사례를 통한 학습

복구된 롤아웃에는 작업 정책의 실패 상태에 대한 행동뿐 아니라, 그 상태에 이르게 한 실수도 포함됩니다. 전체 시퀀스로 학습하면 정책이 둘 다 모방하게 됩니다. 따라서 판정 모델이 완료로 확인한 롤아웃에서 스킬이 실행한 복구 구간 중 승인된 것만 보존합니다. 각 구간에는 스킬 호출부터 제어권 반환까지의 관측값과 실행된 행동이 포함되며, 작업 지시를 다시 붙입니다. 정책의 행동과 거부된 시도는 제외합니다.

이후 업데이트된 정책이 다음 경험 수집을 진행합니다. 이러한 반복을 통해 작업 정책은 수정 방법을 학습하고, 더 다양한 실패를 드러냅니다. 예를 들어 이제 초기 물체 잡기를 완료하는 정책은 과거 시도에서는 도달하지 못했던 배치 단계에 도달할 수 있습니다. 업데이트된 정책으로 경험을 반복 수집하면 새롭게 마주한 상태와 남아 있는 실패 사례가 동일한 스킬 라이브러리로 전달됩니다. 따라서 학습기가 발전함에 따라 스킬이 새로운 감독 신호를 제공하며, 시연을 다시 요청할 필요가 없습니다.

이 절차는 자율적으로 이루어집니다. 모델이 개입 시점, 실행할 수정 스킬, 수정 결과의 승인 여부를 결정합니다. 또한 확장 가능하며 인간의 개입을 최소화합니다. 초기 보정 이후에는 스킬과 판정 프롬프트가 고정되고 가치 모델도 그대로 유지되므로, 인간의 입력은 초기 시연과 장면 초기화에 한정됩니다.

스킬 라이브러리 재사용

스킬을 사용하는 이유

개선 절차가 작동하려면 수정 행동이 판정 모델이 판단할 수 있는 의미 있고 구별 가능한 선택지인 동시에, 로봇이 실행할 수 있는 행동이어야 합니다. 짧은 시간 범위의 스킬은 두 조건을 모두 충족합니다. 시각적·텍스트적 설명으로 명확한 국소 수정 행동을 정의하고, 정책으로 그 행동을 시도하는 데 필요한 조정된 동작을 제공합니다. 예를 들어 잡기 스킬을 선택하면 접근, 그리퍼 닫기, 들어 올리기가 실행되며, 스킬은 진행 중 관측값에 대응합니다. 따라서 파운데이션 모델은 단계를 복구하는 데 필요한 행동을 추론하고, 스킬은 실제 물리적 실행을 담당할 수 있습니다.

각 스킬을 따로 가르치면 전체 작업을 완수할 필요 없이 이처럼 더 짧은 행동을 학습할 수 있어, 학습 문제가 훨씬 쉬워집니다.

작업 간 공유

이러한 행동은 여러 작업에서 반복되므로, 기존 학습 데이터는 새로운 작업을 위한 수정 행동을 준비하는 데 도움이 됩니다. 예를 들어 새 물체를 잡으려면 물체의 형태에 맞게 조정하면서도 이전 물체에서 학습한 접근 및 들어 올리기 행동을 유지해야 할 수 있습니다. 이를 위해 기존 스킬 데이터와 새 시연을 결합해 조정된 기본 동작을 학습하고, 이를 통해 전체 동작 기본 단위를 처음부터 가르칠 필요가 줄어듦을 보입니다. 새 작업에는 초기 정책과 가치 모델이 필요하지만, 스킬을 호출하고 복구 여부를 확인하며 그 결과를 학습하는 절차는 동일하게 사용합니다.

실험

실험에서는 재사용 가능한 교정 감독 신호의 원천으로서 스킬 공간 슈팅에 관한 세 가지 질문을 다룹니다.

스킬 기반 수정은 반복 과정에서 작업 정책을 개선하는가?
시스템은 자율적으로 스킬을 호출하고 복구 결과를 신뢰성 있게 검증할 수 있는가?
공유 스킬 라이브러리는 서로 다른 작업 간에 전이되어 새로운 스킬을 준비하는 데 필요한 인간의 수고를 줄일 수 있는가?

네 가지 주요 작업에는 다양한 교정 행동이 필요합니다. Stack-3에서는 큐브 세 개를 순서대로 쌓고, Drawer에서는 서랍을 열어 안에 테이프 롤을 넣은 뒤 닫습니다. Coffee에서는 컵에 우유, 커피, 얼음을 붓고 교반 막대를 넣습니다. 마지막으로 Sweeping에서는 손에 쥐는 작은 빗자루를 가져와 블록 여섯 개를 목표 구역으로 쓸어 모은 뒤 빗자루를 다시 걸어 둡니다. 이 작업들은 순서가 있는 단계 안에서의 수정과 동적인 접촉 상황에서의 수정을 함께 시험합니다.

새로운 작업을 위한 스킬 공유 및 확장

새로운 시연이 10회뿐일 때 스킬 공유를 적용하면 잡기 성공률이 5%에서 70%로 높아집니다. 시연이 30회일 때는 공유를 통해 공유 없이 거의 두 배의 시연을 사용했을 때와 같은 성공률을 달성합니다. 따라서 기존 스킬 학습은 정해진 데이터 예산에서 성능을 높이는 데 그치지 않습니다. 익숙하지 않은 물체나 동작 기본 단위에 맞춰 같은 스킬을 준비하는 데 필요한 새로운 시연 수도 줄여 줍니다.

한계와 향후 연구 방향

스킬 획득 및 확장

고정된 라이브러리로 반복 개선이 가능하다는 점은 정책이 앞선 수정 사항을 학습한 뒤에도 스킬이 유용하게 쓰일 수 있음을 보여줍니다. 그러나 스킬을 지정하고 가르치는 데는 여전히 초기 인간의 노력이 필요합니다. 파운데이션 모델은 작업을 분해하고 재사용 가능한 행동을 식별하는 데 점점 더 큰 도움을 줄 것입니다. 지속적으로 발생하는 실패를 바탕으로 다음에 습득할 스킬을 정하고, 각 스킬이 얼마나 많은 작업에 도움이 되는지 평가할 수 있습니다. 인간의 동영상으로 스킬을 학습하면 라이브러리가 확장될수록 시연에 드는 수고를 더 줄일 수 있습니다.

지속적인 자율 작동

개선 절차는 자율적이지만 롤아웃 사이에 장면을 초기화하는 일은 여전히 사람이 담당합니다. 학습된 초기화 행동이나 작업 루프, 즉 한 작업을 완료하면 다음 작업이 준비되는 방식으로 며칠 또는 몇 주 동안 개방형 작업을 무인으로 수행할 수 있습니다. 이를 스킬 공간 슈팅과 결합하면 지속적인 데이터 수집이 가능해지며, 작업과 주변 환경이 변해도 교정 감독 신호가 유용한지 시험할 수 있습니다.

실패 감지의 일반화

실패 감지기는 작업별 학습이 필요하지만, 스킬 선택과 복구 검증에는 공통 절차를 사용합니다. 파운데이션 모델은 이미 실행 오류를 감지하고 작업 진행 상황을 추적하며 로봇 동영상에서 사건이 발생한 지점을 찾습니다. 시간에 따른 추론 능력이 향상되면 제안된 동작을 바탕으로 실패를 예측하는 데까지 이 기능을 확장해 별도의 감지기를 없앨 수 있습니다. 그러면 하나의 공유 모델이 언제 슈팅할지와 어떤 스킬을 시도할지를 모두 결정해 새로운 작업을 준비하는 부담을 줄입니다.

결론

재사용 가능한 짧은 시간 범위의 로봇 행동을 지속적으로 활용할 수 있는 교정 감독 신호로 만들기 위해 스킬 공간 슈팅을 소개합니다. 파운데이션 모델의 안내에 따라 작업 정책의 실패를 대상으로 의미 있는 행동을 실행하고, 물리적 롤아웃을 모니터링해 해당 행동이 실제 수정 효과를 제공하는지 시험합니다. 완료된 롤아웃에서 승인된 복구 구간으로 학습하면 이러한 수정 사항이 작업 정책에 반영됩니다.

실험 결과, 스킬의 도움 없이도 유지되는 반복적인 성능 향상을 확인했으며, 관측된 초기 성공이 전혀 없는 정책에서도 개선을 보였습니다. 또한 스킬 데이터를 공유하면 다른 작업의 개선 절차를 준비하는 데 필요한 새로운 교육량이 줄어듦을 보였습니다. 이는 한 작업 내 개선과 작업 간 재사용을 연결합니다. 따라서 스킬 공간 슈팅은 대규모 자율 개선의 기반을 제공합니다. 재사용 가능한 스킬을 통해 로봇은 자신의 실패에서 학습하고 그 학습을 여러 작업으로 확장할 수 있으며, 가능한 모든 수정 방법을 사람에게 일일이 배울 필요가 없습니다.