학습된 스킬 모델로 복잡한 로봇 조작 작업을 더 빠르게 계획

학습된 스킬 모델로 복잡한 로봇 조작 작업을 더 빠르게 계획

Itamar Mishani, Mukund Krishnakumar, Oren Salzman, Maxim Likhachev

6 분 읽기•2026년 11월 17일

Lazy-MOSAIC은 학습된 모델로 로봇 스킬의 효과를 예측하고, 후보 계획을 더 높은 충실도의 시뮬레이터로 검증한 뒤에야 신뢰함으로써 장기 로봇 조작 계획을 빠르게 수립합니다. 160회 시행에서 기존 MOSAIC 계획기의 81개보다 많은 104개 과제를 해결했으며, 두 계획기가 모두 해결한 설정에서는 최대 6.6배 빠르게 실행됐습니다. 모델의 오류가 잘못된 계획을 유효한 것으로 판정하게 두지 않으면서도 이러한 성능을 달성했습니다.

목차

연구진은 무엇을 만들었나요?

Lazy-MOSAIC은 로봇이 일련의 스킬을 수행해야 하는 조작 작업을 위한 계획 시스템입니다. 스킬은 물체를 이동하거나 다른 조작 단계를 수행하는 것과 같은 재사용 가능한 동작입니다. 스킬을 이용하면 긴 작업을 더 쉽게 관리할 수 있지만, 계획기는 목표에 도달할 가능성이 높은 스킬의 순서와 각 단계를 마친 뒤 로봇이 놓일 상태를 파악해야 합니다.

이 시스템은 학습된 세계 모델과 지연 계획(lazy planning)이라는 탐색 전략을 결합합니다. 세계 모델은 스킬의 효과를 예측합니다. 이러한 예측은 계획을 확인하는 데 사용되는 고충실도 모델보다 적은 비용으로 얻을 수 있으므로, Lazy-MOSAIC은 모든 예측을 확정된 사실로 취급하는 대신 탐색의 길잡이로 활용합니다.

이 차이로 계획기가 미룰 수 있는 작업이 달라집니다. 일반적인 지연 탐색에서는 계획기가 알려진 상태에서 행동을 확인하는 일을 미룰 수 있습니다. 여기서는 스킬로 만들어지는 상태 자체도 불확실할 수 있습니다. 따라서 Lazy-MOSAIC은 계획된 단계뿐 아니라 단계 사이의 상태도 가설로 취급합니다. 예측이 틀린 것으로 드러나면 나머지 순서가 여전히 유효하다고 가정하지 않고, 영향을 받은 탐색 영역을 다시 살핍니다.

목표는 비용이 큰 시뮬레이션 작업을 필요한 곳에 집중하면서, 최종 계획이 고충실도 모델에 근거하도록 하는 것입니다.

평가에 사용된 까다로운 조작 계획 작업의 예

Lazy-MOSAIC은 어떤 결과를 얻었나요?

여덟 가지 벤치마크 설정에서 Lazy-MOSAIC은 MOSAIC과 같거나 더 높은 성공률을 보였습니다. 총 160회 시행 중 104개를 해결해 MOSAIC의 81개를 앞섰습니다. 두 계획기가 모두 해결한 시행을 비교했을 때, Lazy-MOSAIC은 보고된 쉬움·중간·어려움 설정에서 더 짧은 시간에 과제를 해결했으며, 해답의 길이는 비슷했습니다.

보고된 비교 항목MOSAICLazy-MOSAIC
160회 시행 중 성공한 시행81104
쉬움 설정에서 성공한 시행의 평균 시간124 s43 s
중간 설정에서 성공한 시행의 평균 시간331 s83 s
어려움 설정에서 성공한 시행의 평균 시간479 s216 s
작업 3, 어려움 설정의 성공 횟수04/20

설정별로 보고된 가장 큰 속도 향상은 작업 3 중간 설정에서의 6.6배였습니다. 작업 3 어려움 설정은 여전히 난도가 높았습니다. Lazy-MOSAIC은 20회 중 4회를 해결했고, 불확실성 처리를 제외한 버전은 1회, 다른 방법들은 한 번도 해결하지 못했습니다.

물체가 복잡하게 배치될수록 다른 지연 계획 기준 방법들은 훨씬 적은 문제를 해결했습니다. 중간 및 어려움 설정에서 Lazy Options는 9회, Lazy Roadmap은 13회를 해결한 반면 Lazy-MOSAIC은 64회를 해결했습니다. 이 기준 방법들에 학습된 모델을 사용할 수 있도록 하자 시뮬레이터 질의 수는 줄었지만, 비슷하게 높은 성공률을 내지는 못했습니다. 결과는 스킬의 효과를 얼마나 저렴하게 예측하는지만이 아니라, 스킬을 선택하고 구성하는 방식도 중요하다는 점을 보여줍니다.

Lazy-MOSAIC은 어떻게 작동하나요?

계획기는 로봇을 시작 상황에서 목표까지 이끄는 스킬의 순서를 탐색합니다. 스킬 중심 계획기에서는 각 단계가 서로 연결된 두 요소, 즉 실행할 스킬과 실행 후 예상되는 상태로 이루어집니다. 예를 들어 계획에서는 하나의 조작 스킬이 장면을 바꾸어 이후 스킬을 실행할 수 있게 된다고 예측할 수 있습니다. 그 예측이 틀리면 이를 전제로 한 후속 단계도 틀릴 수 있습니다.

Lazy-MOSAIC은 학습된 스킬 효과 세계 모델을 사용해 결과를 적은 비용으로 추정합니다. 제안된 모든 스킬과 그 결과 상태를 고충실도 모델로 즉시 확인하는 대신, 탐색은 먼저 학습된 예측을 활용해 가능성이 높은 선택지를 살펴볼 수 있습니다. 값비싼 평가를 필요할 때까지 미루는 것이 바로 ‘지연’ 방식입니다.

검증되지 않은 상태는 계획의 나머지 부분을 믿고 세울 수 있는 확실한 기반이 아니므로, 평가를 미루려면 이를 신중히 다뤄야 합니다. Lazy-MOSAIC은 스킬 단계와 그 사이를 연결하는 예측 상태를 모두 가설로 취급합니다. 예측이 고충실도 검증에 실패하면, 해당 행동 하나만 잘못된 것으로 표시하고 그에 의존하는 상태를 그대로 두는 것이 아니라, 계획기는 영향을 받은 후속 탐색까지 고려해야 합니다.

계획이 승인되기 전에 인증 절차에서 고충실도 모델을 사용해 계획을 확인합니다. 이 검사는 계획의 정확성을 지키는 안전망입니다. 학습된 모델은 탐색에서 어떤 선택지를 고려할지, 후보를 얼마나 빨리 찾을지에 영향을 줄 수 있지만, 예측 오류가 인증되지 않은 계획을 유효하게 만들지는 않습니다. 논문에서 인증을 거치지 않는 변형 모델과 비교한 것은 이 점이 중요한 이유를 보여줍니다. 예측만 빨라진다고 해서 로봇이 목표에 도달하는 것은 아닙니다.

이 설계는 두 가지 역할을 분리합니다. 학습된 모델은 탐색의 방향을 잡고, 고충실도 검증은 후보 계획이 평가 모델 아래에서 작동하는지를 확인합니다.

벤치마크의 까다로운 조작 작업을 보여주는 그림

로보틱스에서 왜 중요한가요?

로봇은 여러 동작을 연결해 계획해야 하는 경우가 많으며, 가능한 모든 순서를 평가하는 데는 큰 비용이 들 수 있습니다. 후보 스킬이 많거나, 물체가 복잡하게 배치되어 있거나, 시뮬레이션 검사를 한 번 수행하는 데 상당한 시간이 걸리면 실질적인 병목이 됩니다. Lazy-MOSAIC은 저비용 예측으로 탐색의 초점을 좁히면서 계획을 승인하기 전에는 더 신뢰할 수 있는 검사를 유지해 이러한 병목을 해결하려 합니다.

벤치마크 결과는 계획 시스템을 선택하는 팀에도 중요한 점을 보여줍니다. 저렴한 모델만으로는 충분하지 않습니다. 학습된 모델로 시뮬레이터 질의를 줄였는데도 다른 방법들의 성공률이 낮았다는 점은 탐색 전략과 스킬 구성이 전체 시스템의 중요한 요소임을 시사합니다. 운영팀에 빠른 계획기가 유용하려면 작업 조건을 충족하는 계획도 만들어야 합니다.

보고된 평가는 시뮬레이션 조작 작업에서 이루어졌으며 실제 현장 배포 결과가 아니므로, 특정 상용 로봇에서 이 접근법이 어떻게 작동하는지를 입증하지는 않습니다. 그럼에도 플랫폼을 평가하는 구매자와 엔지니어는 해당 플랫폼이 스킬 기반 계획과 시뮬레이션 기반 검증을 지원하는지 고려할 수 있습니다. 여러 플랫폼을 비교하는 팀은 다단계 조작과 계획이 중요할 수 있는 로봇 범주의 예로 휴머노이드 로봇을 Robot Overflow에서 둘러보거나 창고 로봇을 살펴볼 수 있습니다.

한계와 남은 질문은 무엇인가요?

이번 결과는 평가한 벤치마크에서의 향상을 보여줄 뿐, 모든 로봇과 물체, 실제 환경에서의 성능을 입증하지는 않습니다. 보고된 근거는 시뮬레이션 시행에서 나온 것으로, 감지 오류와 모델링되지 않은 물리적 효과가 결과를 바꿀 수 있는 하드웨어에서도 같은 성공률이나 속도 향상이 나타나는지는 보여주지 않습니다.

작업 3 어려움 설정은 까다로운 사례가 여전히 어렵다는 점도 보여줍니다. Lazy-MOSAIC은 이 설정에서 20회 중 단 4회만 해결했습니다. 논문 발췌 내용만으로는 학습 데이터의 차이, 모델 품질 또는 실제 배포에서 인증에 드는 비용에 대한 민감도를 평가하기에 정보가 충분하지 않습니다.

마지막으로 인증은 고충실도 모델을 기준으로 계획의 유효성을 보호할 뿐, 반드시 실제 세계에서의 유효성을 보장하지는 않습니다. 로봇과 물체, 작동 조건이 바뀌어도 해당 모델이 신뢰할 수 있는 기준으로 남도록 이를 어떻게 구축하고 검증할지가 중요한 미해결 과제입니다.

자주 묻는 질문

Lazy-MOSAIC은 어떤 문제를 해결하나요? 계획기가 고충실도 모델로 선택지를 평가해야 하는 횟수를 줄여 다단계 조작 작업의 계획을 빠르게 수립합니다.

스킬 효과 세계 모델이란 무엇인가요? 로봇 스킬로 인해 발생하는 상태 변화를 예측하는 학습된 모델입니다. 이를 통해 계획기는 더 적은 비용으로 후보 계획을 탐색할 수 있습니다.

학습된 모델이 계획의 유효성을 판단하나요? 아니요. 학습된 모델은 탐색을 안내하고, 인증 절차에서 후보 계획을 고충실도 모델로 확인한 뒤 승인합니다.

Lazy-MOSAIC은 MOSAIC과 비교해 어떤 성능을 보였나요? MOSAIC이 160회 중 81회를 해결한 데 비해 104회를 해결했으며, 두 계획기가 모두 해결한 보고된 설정에서는 더 빨랐습니다.

결론

Lazy-MOSAIC은 학습된 예측과 지연된 고충실도 검증을 결합해, 학습된 모델을 최종 판정자로 신뢰하지 않으면서 스킬 기반 조작 계획을 더 빠르게 수립합니다. 벤치마크 결과는 유망하지만, 가장 어려운 작업과 시뮬레이션 및 실제 운용 간의 차이는 여전히 중요한 검증 과제로 남아 있습니다.