서론
중요한 점은 이러한 내부 정책이 데이터 수집을 보조할 뿐, 최종 자율 제어기의 구성 요소는 아니라는 것이다. 이렇게 수집한 시연 데이터는 배포 단계에서 팔과 손을 모두 제어하는 별도의 외부 시각운동 정책을 학습하는 데 사용된다. 이처럼 고차원적인 행동 공간을 더 쉽게 학습할 수 있도록 손 행동 변분 오토인코더(H-VAE)는 팔 명령을 관절 공간에서 직접 유지하면서 손의 목표 동작을 압축해 제공한다. 본 연구에서는 시연 수집과 자율 정책 학습부터 온라인 실행, 접촉 동작, 작업 간 손 기술 재사용에 이르는 수집-자율화 파이프라인을 평가한다.
구체적인 기술적 기여는 다음과 같다.
- 코파일럿 보조 손재주 시연 수집. 가역 클러치를 사용해 작업자가 팔을 조작하는 동시에 상태 조건부 손 기술의 실행을 조절할 수 있다. 자동 기술 선택 기능은 작업의 여러 단계에서 서로 다른 손 동작을 재사용할 수 있도록 한다.
- 중첩 수집과 자율 배포. 시각-언어 모델이 동적으로 할당하는 학습된 내부 손 정책이 전체 작업의 시연 수집을 보조한다. 이후 별도의 외부 시각운동 정책이 수집된 시연 데이터로 학습되고, 배포 단계에서는 독립적으로 작업을 수행한다.
- 실세계 수집-자율화 평가. 여섯 가지 손재주 조작 작업을 대상으로 시연의 신뢰성과 효율성, 후속 자율 정책 학습, 압축된 손 행동 표현 및 온라인 접촉 인식 실행의 효과를 평가한다.
NestDex: 중첩 손재주 정책
NestDex는 보조 시연 수집과 자율적인 작업 수행을 분리한다. 재매핑된 손 기술 시연으로 고유수용성 내부 정책을 학습하고, 이 정책이 전체 작업의 원격조작을 보조한다. 이후 H-VAE라 부르는 손 자세용 변분 오토인코더(VAE)가 수집된 손 명령을 인코딩한다. 이렇게 얻은 표현을 사용해 전체 작업을 제어하는 외부 시각운동 정책을 학습한다.
구현
실험에는 리더-팔로워 플랫폼을 사용했다. 각 리더에는 팔과 클러치가 장착되어 있고, 각 팔로워에는 팔, 손재주 손, 손목 카메라가 장착되어 있다. 리더 팔의 관절 위치는 팔로워 팔의 명령으로 직접 매핑된다. 리더의 클러치는 팔로워 손에서 내부 정책의 실행을 조절하며, 각 팔-손 쌍은 자체 내부 정책을 독립적으로 실행한다.
신뢰성 높고 효율적인 시연 수집
NestDex를 AnyTeleop과 비교하기 위해 여섯 가지 손재주 조작 작업에서 각 시스템으로 작업당 20개의 시연을 수집했다. 정의된 평가 지표에 따라 성공률과 성공한 시연 1회당 소요 시간을 보고했다. “N/A”는 성공한 시연을 얻지 못했다는 뜻이다.
두 인터페이스에 익숙해진 동일한 작업자가 두 조건 모두를 수행했다. 각 시도 사이에는 물체를 동일한 기준 시작 구성으로 되돌렸다.
코파일럿에서 자율성으로
코파일럿으로 수집한 시연 데이터로 학습한 외부 정책은 평가한 모든 작업에서 효과적인 성공률을 달성했다. 이는 해당 시연 데이터가 후속 정책 학습에 유용함을 보여준다.
직접 손 행동을 사용하는 경우, 코파일럿으로 수집한 시연 데이터로 학습한 정책은 두 데이터 출처 모두에서 학습 데이터를 제공하는 모든 작업에서 AnyTeleop 시연 데이터로 학습한 정책보다 우수한 성능을 보였다. Tongs Transfer에서는 AnyTeleop이 외부 정책 학습에 사용할 성공 시연을 제공하지 못했지만, 코파일럿으로 수집한 시연 데이터는 자율적인 작업 수행을 성공적으로 뒷받침했다.
온라인 실행과 접촉 동작
동일한 내부 정책을 물병 잡기 작업에 대해 다음 세 가지 실행 조건에서 테스트했다.
- 고정 명령 재생: 성공적으로 수행된 한 번의 롤아웃에서 저장한 관절 명령 궤적을 반복한다.
- 폐루프, 앙상블 없음: 최신 고유수용성 이력으로부터 정책을 질의하지만, 새로 생성된 각 청크의 첫 번째 행동만 실행한다.
- 폐루프, 시간 앙상블: 동일한 정책이 중첩 구간에 대해 예측한 값을 시간적으로 평균 내어 적용한다.
공정한 비교를 위해 각 조건에서 판정된 결과가 있는 최초 10회의 시도를 사용했으며, 총 30회의 시도로 구성했다.
작업 단계 간 기술 선택과 재사용
대표적인 Toast Preparation 및 Binder Filing 시연에서 내부 정책 선택 결과를 정성적으로 검토했다.
두 작업 모두에서 선택된 기술은 현재 작업 단계에 맞춰졌으며, 이전에 사용한 기술도 필요할 때 다시 활성화되었다. Toast Preparation에서는 Tongs Grasp, Button Press, Plate Grasp를 차례로 선택한 뒤 다시 Tongs Grasp로 돌아갔다. Binder Filing에서는 Hole-Punch Press 후 Paper Pinch로 돌아갔고, 이어 Binder Closure를 선택했다.
이러한 순서는 작업 단계 전반에서 소수의 손 기술 집합을 재사용하는 선택기의 동작을 보여준다.
자주 묻는 질문
NestDex에서 내부 정책은 어떤 역할을 하나? 내부 정책은 시연 수집을 보조하며 최종 자율 제어기의 구성 요소는 아니다.
외부 시각운동 정책은 무엇을 제어하나? 외부 정책은 배포 단계에서 로봇 팔과 손을 모두 포함한 전체 작업을 제어한다.
H-VAE는 정책 학습을 어떻게 지원하나? H-VAE는 수집된 손 명령을 압축된 손 목표 동작으로 인코딩하고, 팔 명령은 관절 공간에서 직접 유지한다.
작업 단계 간 손 기술은 어떻게 재사용되나? 자동 기술 선택이 현재 작업 단계에 맞춰 기술을 선택하고, 필요할 때 이전에 사용한 기술을 다시 활성화한다.