Grana: 하위 작업 진척도를 결합해 장기 로봇 조작을 추적하다

Grana: 하위 작업 진척도를 결합해 장기 로봇 조작을 추적하다

Zi-ang Cao, Kaiyuan Zheng, Yinzhen Xu, Haonan Duan, Jiasheng Gu +12개 더

8 분 읽기•2026년 11월 19일

Grana는 아직 완료되지 않은 하위 작업을 선택하고 해당 작업의 국소 진척도를 예측한 뒤, 이 결과를 결합해 전체 작업의 진척도를 산출합니다. 언어 조건부 모델 하나를 주로 짧은 작업으로 사전 학습한 다음, 더 긴 작업 조합에도 재사용합니다. 진척도 목표값에는 실행 품질과 평가 대상 하위 작업의 작업 순서상 위치가 모두 반영됩니다.

하위 작업에 걸친 진척도 예측

카메라 관측값, 작업 설명, 하위 작업 순서가 주어지면 Grana는 아직 완료되지 않은 하위 작업을 선택하고 국소 진척도를 예측합니다. 제공된 순서는 사용자가 선호하는 실행 순서와 평가 단위를 지정합니다. 하위 작업 설명은 공유 예측기에 입력되는 언어 정보이며, 그 순서와 개수는 아키텍처에 고정되어 있지 않습니다. 따라서 동일한 작업을 서로 다른 유효한 순서로 조회하거나, 더 거칠거나 세밀하게 분해해 조회할 수 있습니다. 학습이나 적응에는 선택한 명세에 따라 정의된 지도 신호를 사용하고, 추론 시에는 제공된 목록을 조건으로 삼습니다. 전체 작업 진척도는 사용자가 지정한 절차를 기준으로 완료도를 측정합니다.

하위 작업 6개를 완료하고 일곱 번째 작업을 절반 진행했다면, 전체 작업 진척도는 완료된 하위 작업 수에 국소 진척도를 더한 뒤 전체 하위 작업 수로 나눈 값입니다. 국소 진척도가 0으로 떨어지면 추정치는 완료된 하위 작업 수를 전체 하위 작업 수로 나눈 값이 됩니다. 이 결합 방식은 국소 작업에서 실패하더라도 앞서 완료한 하위 작업은 계속 완료 상태라고 가정합니다. 다만 하위 작업을 잘못 선택하면 추정치가 왜곡될 수 있습니다.

모델에서는 하위 작업 선택과 진척도 예측에 동일한 VLM을 사용합니다. 이 모델은 시간에 걸쳐 샘플링한 다중 시점 관측값을 처리해 실패한 시도와 복구 과정을 구분할 수 있는 맥락을 제공합니다. 시간 트랜스포머는 국소 진척도 예측을 위한 특징을 결합하며, 공유 헤드를 통해 예측합니다. 시간적 집계에는 이후 시점의 관측값을 사용할 수 있습니다. 정책 학습 실험에서는 기록된 궤적을 오프라인으로 평가합니다.

하위 작업 전반의 조합형 진척도 예측 다이어그램

불완전한 실행을 위한 지도 신호

올바른 하위 작업을 선택하더라도 얼마나 완료했는지는 알 수 없습니다. 경과 시간은 성공적인 삽입과 반복되는 정렬 실패 모두에서 증가하지만, 두 실행의 진척도 목표값은 달라야 합니다. 이에 따라 하위 작업 주석과 국소 행동 품질(AQ) 판단을 결합합니다. 하위 작업 주석은 완료된 작업을 식별하고, AQ 판단은 아직 완료되지 않은 하위 작업에서 발생한 차질과 복구 과정을 설명합니다.

주석 작업자는 하위 작업의 경계와 최적 이하 또는 진척도가 후퇴한 실행 구간을 표시하고, 표시되지 않은 구간은 정상 실행으로 간주합니다. 정상 실행은 작업이 일반적인 방식으로 진행되는 경우입니다. 최적 이하 실행은 물리적 실패 없이 성능이 저하된 경우로, 예를 들어 나사가 정렬되지 않았지만 여전히 잡혀 있는 상황입니다. 진척도가 후퇴한 실행은 나사를 떨어뜨리는 것처럼 물리적 실패로 국소 진척도가 감소하는 경우입니다. 이와 별도로 각 하위 작업에는 성공적으로 완료되면 1, 실패하면 0의 이진 결과값을 부여합니다. 이 결과값은 하위 작업이 어떻게 끝났는지를 나타냅니다. 따라서 완료된 하위 작업에도 진척도가 후퇴한 구간이 포함된 뒤 복구가 이루어질 수 있습니다.

주석은 개별 프레임에 수치 점수를 매기지 않고도 행동 품질과 하위 작업 결과에 기반한 국소 진척도 목표값을 정의합니다. 중단되지 않은 각 시도 안에서는 행동 품질에 따라 진척도를 배분해, 최적 이하 프레임보다 정상 프레임에 더 큰 증가분을 부여합니다. 재시도가 있는 성공적인 하위 작업에서는 진척도 후퇴 시 국소 진척도를 0으로 초기화하고, 이후 시도에서 다시 쌓아 올립니다. 이진 결과값은 최종 국소 진척도 목표값의 기준점이 됩니다.

하위 작업 선택과 진척도 예측 학습

Grana는 스스로 하위 작업을 선택하므로, 진척도 학습에서는 모델이 잘못 선택한 설명도 고려해야 합니다. 예를 들어 삽입이 일부만 완료되었는데 모델이 조임을 선택했다면, 조임에는 삽입의 부분 진척도가 아니라 0의 진척도를 부여해야 합니다. 조회된 하위 작업의 목표값을 정할 때 작업 순서를 사용합니다. 앞서 완료된 하위 작업에는 1, 주석이 지정한 미완료 하위 작업에는 해당 국소 진척도, 이후 하위 작업에는 0을 부여합니다.

공유 예측기는 Qwen3.5-4B와 LoRA로 구현합니다. 기본 VLM은 고정한 채 어댑터, 시간 트랜스포머, 진척도 헤드를 학습합니다. 선택과 진척도 예측에는 교차 엔트로피 목적 함수를 사용합니다. 진척도 학습에서는 스칼라 목표값을 인접한 구간들에 대한 분포로 인코딩하고, 헤드는 분포를 예측합니다. 그 평균이 연속적인 진척도 추정치가 됩니다. 두 목적 함수 모두 목표값에서 더 멀리 벗어난 예측에 더 큰 가중치를 둡니다. 사전 학습과 적응 과정은 동일한 아키텍처와 언어 인터페이스를 유지합니다. 추론 시 모델은 관측값, 설명, 하위 작업 목록을 입력받으며 주석 정보는 사용하지 않습니다.

정책 학습에 진척도 활용

진척도 변화량은 기록된 행동에 대한 피드백을 제공합니다. 진척도 증가는 작업이 진전되었음을, 감소는 차질이 발생했음을 나타냅니다. 보상 모델별 비교에서는 변환 절차를 동일하게 유지하면서 이 변화량을 두 가지 방식으로 사용합니다.

실험

실험에서는 네 가지 질문을 다룹니다.

  • 지도 신호: 구조화된 하위 작업 및 품질 주석으로 실용적이고 유용한 진척도 지도 신호를 제공할 수 있는가?
  • 일반화: Grana는 작업, 작업 시간 범위, 로봇 구현체, 데이터셋이 달라져도 얼마나 잘 일반화하는가?
  • 사전 학습과 조합: 보상 모델 사전 학습은 장기 작업 적응을 어떻게 개선하며, 하위 작업 조합은 Grana와 GPT-6 Astra 같은 최첨단 VLM 모두의 진척도 예측을 개선하는가?
  • 정책 학습: 그 결과 얻은 진척도 추정치는 후속 정책 학습을 개선하는가?

실험 설정

정책 실험에는 GR00T-2 월드 액션 모델을 사용합니다. 각 작업과 비교 내에서는 초기화, 데이터, 학습 절차를 고정하고 보상 모델만 변경합니다.

보상 예측 및 일반화

학습에서 제외된 작업에 대한 제로샷 예측, 더 긴 작업과 다른 로봇 구현체에 대한 적응, 공개 벤치마크에서의 전체 궤적 순위 평가를 수행합니다.

목표 작업에 대한 보상 레이블이나 파인튜닝 없이 학습에서 제외된 50개 작업을 평가했을 때, Grana의 RMSE는 0.180으로 가장 강력한 기준선인 RoboMeter의 0.227보다 낮았으며, 이는 20.7% 감소에 해당합니다. 사전 학습 작업 수를 15개에서 200개로 늘리면 학습에서 제외된 작업의 RMSE가 35.3% 감소합니다.

실험에 사용된 장기 로봇 조작 작업 5가지

하위 작업 조합과 진척도 예측

하위 작업을 조합하면 진척도 예측이 개선되는지 검증한 뒤, 하위 작업 선택과 국소 진척도 예측이 각각 어떤 역할을 하는지 살펴봅니다.

비행기 모형 조립에서는 전체 작업을 직접 예측하는 모델과 조합형 예측 모델 모두 보상 모델 사전 학습을 거치지 않은 기본 Qwen에서 시작하고, 적응 예산도 동일하게 설정합니다. 자동 하위 작업 선택과 국소 진척도 조합을 적용하면 선택 오류를 포함하더라도 RMSE가 D15에서 17.3%, D100에서 13.4% 감소합니다.

자동차 모형 조립 제로샷 평가에서 조합 방식은 누적 RMSE를 GPT-6의 경우 1.578에서 0.524로 낮추고, 기본 Qwen3.5-4B에서는 32.4% 낮춥니다. 이러한 결과는 제안한 하위 작업 조합 방식이 두 모델 모두에서 진척도 예측을 개선함을 보여줍니다.

후속 정책 개선

오프라인 강화 학습과 진척도 가중 행동 복제를 통해 예측된 진척도가 정책을 개선하는지 검증합니다. 부록 E에는 트랙터 조립에서의 테스트 시점 모델 예측 제어도 보고합니다. 이 방법에서 Grana는 계획을 세울 시점을 결정하고, 상상한 미래들 가운데 하나를 선택합니다.

각 보상 신호는 학습에서 제외된 두 작업에 대한 동일한 BC 정책 롤아웃을 평가합니다. 별 삽입은 50회(하위 작업 1개), 상자에서 선반으로 튜브 옮기기는 45회(하위 작업 3개)입니다. 모든 보상 모델에 동일한 규칙을 적용해 예측된 진척도를 보상으로 변환합니다. 이 보상으로 IQL 비평가를 학습한 뒤 BPPO 행위자를 업데이트합니다. 제로샷은 보상 모델이 목표 작업의 보상 주석을 받지 않았다는 뜻이며, 정책은 점수가 매겨진 목표 작업 롤아웃으로 학습합니다.

조작 중 국소 진척도를 보여주는 나사 삽입 예시

감사의 글

언어를 다듬고 모든 그림의 표현을 명확하게 개선하며 코드 구현을 지원하는 데 GPT-6 Astra, Claude Fable 5, Opus 5를 비롯한 AI를 활용했습니다.

매개변수 선택 및 계산 예시

비행기 조립 삽입 예시는 하위 작업 9개 중 7번째를 따릅니다. 앞의 하위 작업 6개가 이미 완료되었으므로, 전체 작업 목표값은 완료된 하위 작업 수에 국소 진척도를 더한 뒤 전체 하위 작업 수로 나눈 값입니다. 이 예시에는 초당 30프레임으로 동기화된 샘플 1,117개가 있으며, 인덱스는 0부터 1,116까지입니다. 첫 번째 시도는 프레임 249까지 정상 실행되고, 프레임 250–820에서는 진척도가 후퇴하며, 프레임 821–1,116에서는 정상적인 복구를 거쳐 성공적으로 완료됩니다.

진척도 일관성 지표

비행기 및 자동차 모형 테스트 에피소드는 전체 작업 진척도로 점수를 매깁니다. 전체 작업 진척도는 누적 하위 작업 진척도를 전체 하위 작업 수로 나누고, 약 1 Hz에서 네 개 카메라 시점의 평균을 구해 계산합니다. 두 지표 모두 해당 에피소드에 대한 사람의 주석을 사용합니다.

주석 작업자는 각 하위 작업 안에서 높은 품질과 낮은 품질의 실행을 보여주는 키프레임을 표시합니다. 서로 다른 에피소드에 속하면서 같은 하위 작업을 나타내는 고품질 키프레임과 저품질 키프레임의 각 쌍에 대해, 각 키프레임에서 가장 가까운 평가 시점(0.5 s 이내)의 점수를 사용합니다. Q-Rank는 고품질 키프레임의 점수가 엄격하게 더 높은 쌍의 비율입니다. 동일한 연속 분포에서 독립적으로 추출한 무작위 점수는 두 프레임 중 어느 쪽이 더 높을지 같은 확률로 순위를 매기므로, 평균 Q-Rank는 50입니다. 작업당 저품질 키프레임 12개가 쌍을 이룹니다.

학습 및 추론

사전 학습과 적응에는 앞서 설명한 목적 함수를 사용하며, 동일한 아키텍처와 언어 인터페이스를 유지합니다. 적응 중에는 모델이 직접 선택한 설명에도 순서 조건부 목표값을 부여합니다.

추론은 순차적으로 두 번 호출합니다. 첫 번째 호출은 제공된 순서형 목록에서 하위 작업을 선택하고, 두 번째 호출은 선택된 하위 작업의 설명을 조건으로 국소 진척도를 예측합니다. 선택된 인덱스와 국소 예측값을 전체 작업 진척도 규칙에 따라 결합합니다. 추론에는 관측값과 텍스트 입력만 필요하며 하위 작업 경계, AQ 또는 결과 주석은 필요하지 않습니다.

MPC 켜기 및 끄기

  • 진척도 정체. 전체 작업 진척도가 지난 지정된 시간 구간 동안 증가하지 않았습니다. 정책이 정체되었거나 반복되는 시도가 실패하고 있는 상태입니다.
  • 하위 작업 건너뛰기. 평활화된 하위 작업 인덱스가 앞서 건너뜁니다. 예를 들어 바퀴를 장착하기 전에 드릴을 집으러 가는 것처럼, 현재 단계를 완료하기 전에 다음 단계로 넘어간 상태입니다.

트랙터 조립

MPC 없이 정책은 조립 10회 중 2회를 완료하고, MPC를 적용하면 10회 중 9회를 완료합니다. MPC를 적용하지 않았을 때는 바퀴를 떨어뜨리거나 기울어진 상태로 장착하는 문제, 또는 바퀴를 장착하기 전에 드릴을 집으러 가는 것과 같은 단계 건너뛰기가 발생했습니다. MPC를 적용했을 때 발생한 나머지 실패에서는 바퀴 네 개를 모두 장착했지만 트랙터를 똑바로 세우지 못했습니다. 이 결과는 정책을 업데이트하지 않고도 Grana의 하위 작업 및 진척도 추정치가 계획이 필요한 시점을 결정하고 행동 선택을 안내할 수 있음을 보여줍니다.

자주 묻는 질문

Grana는 전체 작업 진척도를 어떻게 추정하나요? 완료되지 않은 하위 작업을 선택하고 국소 진척도를 예측한 뒤, 그 추정치를 순서가 지정된 하위 작업 목록과 결합합니다.

Grana는 성공적인 진척과 차질을 어떻게 구분하나요? 하위 작업 주석은 완료된 작업을 식별하고, 행동 품질 주석은 정상, 최적 이하, 진척도 후퇴 실행을 표시합니다. 진척도 후퇴가 발생하면 이후 시도에서 다시 쌓아 올리기 전에 국소 진척도가 초기화될 수 있습니다.

추론 시 Grana는 무엇을 입력받나요? 관측값, 작업 설명, 제공된 하위 작업 목록을 입력받습니다. 추론에는 하위 작업 경계, 행동 품질 또는 결과 주석이 필요하지 않습니다.

MPC는 트랙터 조립 결과에 어떤 영향을 주었나요? 정책 업데이트 없이 MPC를 적용하지 않았을 때는 조립 10회 중 2회를, 적용했을 때는 10회 중 9회를 완료했습니다.