개입은 이 원리에 관한 부분적인 증거만 제공합니다. 개입 전에는 로봇이 VLA 동작을 실행하고, 개입 후에는 사람이 선호하는 동작의 이어짐을 제공합니다. 개입 시점은 개입을 유발한 맥락을 특정하며, 이 맥락은 다른 유사한 상황에도 일반화됩니다. 이어지는 인간 제어 구간은 도달한 상태에서 더 바람직한 상태로 나아가는 선호 동작의 이어짐을 제공합니다. “접시에 머그잔을 놓을 때 똑바로 세워 두세요”와 같은 설명은 개입을 유발한 의미적 속성을 짚어 주며, 이 속성은 물체의 자세나 로봇의 구성, 배경, 심지어 작업이 달라져도 유효할 수 있습니다. 궤적만으로는 어떤 속성이 중요했는지 모호하고, 언어만으로는 시각 운동 제어에 필요한 감각 운동적 기반이 부족합니다. 두 정보를 결합하면 재사용 가능한 보정의 범위를 좁힐 수 있습니다.
RoboCasa와 DROID에서 pi0를 사용해 시뮬레이션과 실제 환경의 세 가지 작업에서 OopsieRecover를 평가했으며, 작업당 보정은 5–8회만 사용했습니다. OopsieRecover는 실제 환경에서 작업 진행률을 35.1%에서 61.0%로 높였습니다. 이는 다음으로 성능이 좋은 기준선보다 상대적으로 74% 향상된 수치이며, 보정을 학습 때 보지 못한 자세와 물체, 장면에도 전이합니다. 문맥 게이트형 비용 함수는 물체 자세와 장면의 새로운 변형에도 제로샷으로 일반화되어 기본 정책을 성공적으로 유도합니다. 본 연구의 기여는 다음과 같습니다. 인간 개입을 바탕으로 few-shot VLA 보정을 수행하는 의미론적·귀추적 정식화, 문맥 게이트형 비용 함수를 합성하고 검증하는 생성 및 테스트 절차, VLA를 재학습하지 않고 보정을 적용하고 일반화하는 테스트 시점 제어 메커니즘입니다.
의미 기반 보정 수집
OopsieRecover는 유형별 교정 개입 그룹마다 하나의 통합 보정 목적함수를 합성합니다. 이를 위해 먼저 전이 가능한 의도를 포착할 수 있는 표현을 정의합니다.
교정 프로그램 합성 및 정제
첫 단계에서는 보정에 관여하는 개체를 식별하고, 기록된 관측의 기하 정보에 기반해 이들을 정합합니다. PlaceMug의 경우 머그잔, 동작을 방해하는 기계 영역, 목표 트레이가 이에 해당할 수 있습니다. 작업 지시와 보정 설명을 사용해 이러한 개체를 찾아낸 다음, 개체의 3D 점 집합 표현을 구성하고 추적합니다.
결론
OopsieRecover는 의미 주석이 달린 소수의 인간 개입으로부터 고정된 VLA의 전이 가능한 보정을 학습하는 프레임워크입니다. 의미적으로 정합된 3D 점 집합에 대한 문맥 게이트형 비용 함수를 귀추적으로 합성합니다. 이 비용 함수는 언제 제어가 필요한지 판단하고, 예상 결과에 따라 후보 동작의 순위를 매깁니다. 시뮬레이션과 실제 환경에서 수행한 실험은 추가 보정 데이터 없이도 실행 성능이 향상되고 물체 자세와 장면의 변형에 걸쳐 전이가 이루어짐을 보여줍니다. HG-DAgger와 비교해 OopsieRecover는 더 적은 개입으로 더 높은 성공률을 달성했습니다. 이는 보정 동작을 직접 모방하는 대신 재사용 가능한 보정 의도를 활용하는 방식이 데이터 효율적인 대안임을 뒷받침합니다.
감사의 글
본 연구는 오스틴 소재 텍사스 대학교 로봇 상호작용 지능(RobIn) 연구실에서 수행되었으며, TRI (R-YFR-04-Martin-Martin), 미국 국립과학재단 (CAREER FAIN 2543745), NVIDIA Academic Grant Program, Amazon, DARPA TIAMAT program (HR0011-24-9-0428)의 지원을 일부 받았습니다. 여기에 제시된 견해와 결론은 저자의 것이며, 명시적이든 묵시적이든 미국 정부 또는 후원 기관의 공식 정책이나 지지를 반드시 대변하는 것으로 해석해서는 안 됩니다.
자주 묻는 질문
OopsieRecover는 인간 개입으로부터 무엇을 학습하나요? 개입 맥락, 개입을 유발한 의미적 속성, 인간이 제어한 후속 동작을 바탕으로 재사용 가능한 보정 목적함수를 학습합니다.
OopsieRecover는 보정에 관여하는 개체를 어떻게 표현하나요? 기록된 관측의 기하 정보를 이용해 개체를 정합하고, 개체의 3D 점 집합 표현을 구성해 추적합니다.
OopsieRecover를 사용하려면 VLA를 재학습해야 하나요? 아니요. 테스트 시점 제어 메커니즘을 통해 VLA를 재학습하지 않고 보정을 적용합니다.
평가에서는 작업당 보정을 몇 회 사용했나요? 평가에서는 시뮬레이션과 실제 환경의 세 가지 작업에 작업당 5–8회의 보정만 사용했습니다.