시뮬레이션 및 실제 로봇 실험 모두 스크립트 정책을 사용하여 수집된 전문가 시연을 사용하며, Charger Plug의 경우 외부에서 학습된 강화학습 정책에 의해 생성된 시연을 사용합니다. 불완전하지만 재현 가능한 에이전트를 얻기 위해 두 가지 유형의 기본 정책을 사용합니다.
실험 설정
시뮬레이션 및 실제 로봇 모두에서 전문가 시연은 스크립트 정책을 사용하여 수집되며, Charger Plug의 경우 외부에서 학습된 RL 정책에 의해 생성됩니다. 불완전하지만 재현 가능한 에이전트를 얻기 위해 두 가지 유형의 기본 정책을 사용합니다.
결과 분석
전반적으로 [플로우 기반 동작 적응 방법]은 에이전트와 환경 전반에 걸쳐 강력한 개선을 제공합니다. 16개의 태스크-래퍼 설정 중에서 우리의 변형은 13개 사례에서 최고 성공률을 달성했으며, 나머지에서도 경쟁력을 유지하여 동작 수준 적응이 지연, 노이즈, 느림, 편향된 에이전트 행동 전반에 효과적임을 보여줍니다.
특히 FPAS만으로도 대부분의 설정에서 원본 에이전트에 비해 상당한 향상을 제공하며 강력한 기준선과 경쟁력을 유지하여, 플로우 기반 OOD 탐지 자체의 효과성을 강조합니다. 추가적인 생성적 수정 없이도 문제가 되는 동작을 식별하고 개선하는 유용한 신호를 제공합니다. FPAS와 비교하여 FEEG는 특히 Can 및 Charger와 같은 고차원 조작 작업에서 여러 까다로운 설정에 추가적인 이점을 제공하며, 가장 큰 개선은 [큰 성능 향상]을 초과합니다. 이러한 결과는 성공적인 적응이 동작 청크 전체에 걸친 조정된 변화를 필요로 할 때, 플로우 기반 동작 편집이 로컬 샘플링보다 더 효과적인 수정을 생성할 수 있음을 시사합니다.
IFAE는 에이전트 동작이 신뢰성 있게 모델링될 수 있는 소스 분포를 형성할 때 가장 뚜렷한 이점을 보여줍니다. 확률적 래퍼 실험에서 IFAE는 여러 설정에서 최고 또는 최고에 가까운 성능을 달성합니다. 이러한 이점은 래핑된 에이전트가 여전히 일관된 동작 다양체를 유지하고 필요한 수정이 분포 수준의 전송으로 표현될 수 있을 때 소스-전문가 플로우 편집이 효과적임을 시사합니다. 그러나 IFAE는 에이전트의 동작이 학습된 소스 플로우에 의해 덜 포착될 가능성이 있는 일부 설정에서 덜 안정적입니다. 이러한 경우 FEEG가 종종 더 강력한데, 이는 주로 전문가 플로우와 근접 항에 의존하며 손상된 소스 분포의 정확한 모델을 필요로 하지 않기 때문입니다.
또한 OOD 탐지는 선택적 개입을 위한 효율적인 메커니즘을 제공합니다. [플로우 기반 방법]은 제안된 모든 청크를 정제하는 대신 OOD 점수가 청크가 전문가 분포를 벗어났음을 나타낼 때만 수정을 적용합니다. 이는 추론 비용을 줄이고 이미 유효한 동작을 방해하지 않으면서 OOD 탐지와 수정 모두에 동일한 전문가 플로우를 사용합니다.
결론
우리는 기본 에이전트를 업데이트하지 않고 불완전한 에이전트 동작을 개선하는 [플로우 기반 동작 적응 방법 계열]을 제시했습니다. 제한된 전문가 시연을 사용하여 [이 방법]은 정책 적응과 공유 자율성을 모두 지원하며, 학습된 전문가 플로우를 사용하여 선택적 OOD 게이트 개입을 수행합니다. 시뮬레이션 및 실제 로봇 실험을 통해 확률적 래퍼 모방 학습 및 VLA 에이전트에 대해 일관된 개선을 보여줍니다.
한계점
우리의 실험은 FEEG와 IFAE가 상호 보완적인 적응 행동을 제공함을 보여주지만, 주어진 작업에 대해 어떤 변형이 가장 적합한지를 결정하는 요소는 더 체계적으로 연구되어야 합니다. 향후 연구는 편집 하이퍼파라미터와 접촉 풍부성, 정밀도 요구사항, 구성적 구조와 같은 작업 속성의 영향을 더 분석해야 합니다. 더 광범위한 절제 연구와 자동 변형 선택은 플로우 기반 동작 적응의 견고성을 더욱 향상시킬 수 있습니다.
자주 묻는 질문
플로우 기반 정책 적응의 주요 혁신은 무엇인가요? 전문가 시연으로 학습된 플로우 모델을 사용하여 기본 정책을 재훈련하거나 미세 조정하지 않고 추론 시점에서 불완전한 에이전트 동작을 개선합니다.
이 프레임워크에서 선택적 OOD 게이트 개입은 어떻게 작동하나요? 이 방법은 OOD 점수가 에이전트 동작 청크가 전문가 분포를 벗어났음을 나타낼 때만 수정을 적용하여 계산 비용을 줄이고 이미 유효한 동작을 보존합니다.
FEEG와 IFAE 변형의 주요 차이점은 무엇인가요? FEEG는 수정을 위해 전문가 플로우와 근접 항만 사용하는 반면, IFAE는 소스-전문가 분포 전송을 모델링하며 에이전트의 동작 다양체가 일관되게 유지될 때 가장 잘 작동합니다.
플로우 기반 동작 적응은 어떤 유형의 작업에서 가장 큰 개선을 보여주나요? 이 방법은 Can 및 Charger와 같은 고차원 조작 작업에서 가장 큰 이점을 제공하며, 성공적인 적응을 위해 동작 청크 전체에 걸친 조정된 변화가 필요합니다.