AutoIntervene은 액션 청크 정책의 배포 신뢰성을 높이는 온라인 개입 프레임워크다. 각 제안된 액션 청크를 성공적인 시각-행동 데이터가 뒷받침하는지 평가하고, 제안이 반복적으로 근거를 잃으면 제어권을 전환한다. 단계별 참조 데이터는 정책에서 작업자에게 제어권을 넘길 시점을 결정하고, 전역 참조 데이터는 제어권을 다시 정책으로 돌릴 시점을 결정한다. 이를 통해 작업자가 수정한 뒤에도 근거가 확보된 어떤 작업 단계에서든 자율 동작을 재개할 수 있다. 각 적응 라운드에서는 해당 검색 범위에 맞춰 보류된 성공 전문가 시연에서 제안과 지원 점수를 다시 계산하고, 서로 다른 전환 임계값을 오프라인으로 보정한다.
이 연구의 기여는 세 가지다.
- 액션 청크 모방 정책을 위한 양방향 개입 프레임워크를 제시한다. 단계별 지원 정보로 정책에서 작업자로의 전환을 판단하고, 전역 지원 정보로 작업자에서 정책으로의 복귀를 판단한다.
- 보류된 성공 전문가 시연을 활용해 각 적응 라운드마다 해당 검색 범위에서 개입 및 복구 임계값을 각각 다시 계산하는 모드별 시각-행동 보정 절차를 제시한다.
- 실제 환경의 9개 과제에서 AutoIntervene을 평가하고, 추가로 완전한 시연을 수집하는 것보다 훨씬 적은 작업자 제어 시간으로 반복적인 정책 개선을 지원하는 표적 개입 궤적의 효과를 보인다.
관련 연구
상호작용 모방 학습
상호작용을 통한 정책 적응은 전통적으로 작업자가 정책 실행을 지켜보면서 언제 개입하고 제어권을 되돌릴지 수동으로 결정하는 방식에 의존한다. 반면 로봇 게이트 방식은 배포 시점의 신호를 바탕으로 자동으로 개입을 요청한다. LazyDAgger는 정책과 전문가의 행동 불일치를 이용해 전문가 개입을 유도하고, RND-DAgger는 무작위 네트워크 증류로 추정한 상태 새로움을 활용한다.
AutoIntervene은 이러한 로봇 게이트 접근을 따르되, 제어권 전환을 양방향의 지원 기반 과정으로 다룬다. 단계별 지원 정보는 정책에서 작업자로의 전환을 결정하고, 전역 지원 정보는 작업자에서 정책으로의 복귀를 결정하며, 보존된 복구 구간은 이후 정책 적응을 위한 교정 데이터를 제공한다.
AutoIntervene
제어 설정
개입 루프는 ALOHA 방식의 리더-팔로어 원격 조작과 TriPilot-FF 방식의 팔 측 힘 반영을 결합해 구현했다. 리더 로봇 팔은 작업자의 입력을 담당하고, 팔로어 로봇 팔은 작업과 상호작용한다.
정책이 제어하는 동안 리더와 팔로어 로봇 팔은 정책이 생성한 동일한 관절 및 그리퍼 명령을 받아 서로 정렬된 상태를 유지한다. 제어권이 작업자에게 넘어가면 각 팔로어 로봇 팔은 대응하는 작업자 조작 리더 로봇 팔을 추종하도록 전환되므로, 리더 로봇 팔의 위치를 다시 맞추지 않고도 즉시 교정을 시작할 수 있다.
시각-행동 질의 구성
양손 시스템에서는 명령을 팔별로 묶는다.
- 한 그룹에는 왼팔의 관절 및 그리퍼 명령이 들어간다.
- 다른 그룹에는 이에 대응하는 오른팔의 명령이 들어간다.
시각 임베딩과 예측된 행동 접두부를 결합한 것이 시각-행동 질의다.
시각-행동 질의는 시각 표현과 로봇이 곧 수행할 행동 시퀀스의 예측값을 결합한다.
표적 개입이 정책 적응을 향상한다
7개 과제 벤치마크 전반에서 표적 개입은 일관되게 정책 적응 성능을 높였다. 두 차례의 적응 라운드 이후 Human과 AutoIntervene은 모두 Initial 정책과 Additional Full Data를 종합 성능에서 앞섰다.
AutoIntervene은 모든 과제에서 성능을 높이며 과제 전체 평균 성공률을 49.1%포인트 향상해 가장 큰 개선을 달성했다. 이러한 결과는 학습자 정책이 유발한 실패 상태에서 표적 교정 감독을 수집하는 효과적인 방법으로서 AutoIntervene의 가능성을 뒷받침한다.
자동 전환으로 더욱 효율적인 정책 적응 구현
하나의 Peg Disassembly 궤적에서 정책-작업자-정책 전환을 두 차례 수행한 사례는 AutoIntervene이 한 번의 롤아웃에서 여러 개입 구간을 수집할 수 있음을 보여 준다.
ACT, Diffusion, Flow-Matching 헤드 전반의 적응
AutoIntervene이 ACT를 넘어 적용되는지 확인하기 위해 공유 백본, 로봇 인터페이스, 모니터는 그대로 유지하고 ACT 행동 헤드를 Diffusion Policy와 Flow Matching 헤드로 교체했다.
세 행동 헤드 모두 연속적인 적응 라운드에서 성능이 향상되었으며, 세 헤드의 R3 정책은 Initial 정책과 Additional Full Data를 모두 앞섰다. 따라서 AutoIntervene은 헤드별 수정 없이도 서로 다른 행동 생성 메커니즘에 적용된다.
결론
AutoIntervene은 단계별 시각-행동 모니터링, 양방향 핸드오프, 개입 데이터 집계를 결합한다. 실제 환경의 양손 과제 9개에서 완전한 시연보다 적은 추가 제어 데이터로 여러 라운드에 걸쳐 정책을 개선했으며, 수동 전환보다 높은 평균 성공률을 달성하고 평균 작업자 제어 시간도 줄였다.
양방향 전환을 위해 각각 별도로 보정된 기준과 결합된 이 구성은 근거가 부족한 구간에 작업자의 제어를 집중시키고, 정책의 제안이 다시 시연 데이터의 지원 범위로 돌아오면 자율 동작을 재개하게 한다. 향후에는 더 다양한 과제, 교란, 작업자를 대상으로 온라인 보정 범위를 확장할 예정이다.
자주 묻는 질문
AutoIntervene이란 무엇인가?
AutoIntervene은 액션 청크 모방 정책의 배포 신뢰성을 높이는 온라인 개입 프레임워크다.
AutoIntervene은 언제 작업자에게 제어권을 넘길지 어떻게 결정하는가?
단계별 시각-행동 지원 정보를 활용하며, 제안된 행동이 반복적으로 지원 범위를 벗어나면 제어권을 넘긴다.
제어권은 어떻게 정책으로 돌아가는가?
전역 지원 정보가 작업자에서 정책으로의 핸드오프 시점을 결정하므로, 교정이 끝난 뒤 지원이 확보된 작업 단계에서 자율 동작을 재개할 수 있다.
AutoIntervene은 어떤 행동 생성 메커니즘을 지원하는가?
헤드별 수정 없이 ACT, Diffusion Policy, Flow Matching 헤드 전반에 적용된다.