방법론
이 프레임워크는 범용 작업 목적 함수를 사용해 기초적인 손재주를 사전 학습한 뒤, 접촉이 많은 다운스트림 작업에 맞춰 후속 학습을 수행한다. 전체 과정은 세 단계로 구성된다.
- 시뮬레이션에서 범용 물체 조작 작업을 수행하는 손재주 정책을 사전 학습한다.
- 증류를 통해 사전 학습된 행동을 이전하고, 대규모 병렬 온폴리시 강화학습 후속 학습으로 이를 적응시킨다. 이때 안정적인 정책 업데이트를 통해 치명적 망각을 방지한다.
- 작업 특화 교사 정책을 스테레오 RGB 비전 기반 학생 정책으로 증류해, 실제 환경에 제로샷으로 배포할 수 있도록 한다.
한계
실세계 정책은 시뮬레이션에서 관찰된 행동과 매우 유사한 양상을 보이지만, 증류 과정의 주요 병목은 여전히 인식이다. 가려진 상황에서 비대칭 페그의 방향을 잘못 추정하는 경우 실패가 빈번하게 발생한다. 또한 팔이 빠르게 움직일 때 둥근 Allegro 손끝과 페그의 둥근 측면 사이의 접촉 면적이 작아 파지 불안정이 생길 수 있다.
Flexiv-Sharpa의 손끝 촉각 센서는 접촉의 모호성을 줄여 주지만, 가려진 상황에서도 물체 중심의 인식을 안정적으로 수행하는 문제는 여전히 해결되지 않았다. 손목 장착 카메라와 다른 플랫폼에 추가 촉각 센서를 적용하면 이러한 한계를 완화하는 데 도움이 될 수 있다.
도메인 무작위화(ADR)
다음 매개변수는 실행 중 성공률이 0.4를 초과할 때마다 ADR 단계가 진행되며, 총 50개의 ADR 증분에 걸쳐 쉬운 설정에서 어려운 설정으로 점진적으로 조정된다.
- 중력: 중력은 초당 미터 제곱 단위로 지정된 범위에 걸쳐 점진적으로 조정된다.
- 목표 정밀도: 학습이 진행될수록 목표를 만족하기 위한 정밀도 요구 수준이 높아진다.
B.1 TaskMaps에서 루트로의 Pull-Back
두 번째 항은 연쇄 법칙에 따라 리프 가속도가 풀백된 리프 힘과 같게 유지되도록 하는 데 필요한 곡률 힘이다.
B.2 C-space 어트랙터
이 메트릭은 등방성이며, 오차 노름에 따라 최소 질량과 최대 질량 사이를 부드럽게 전환한다.
B.8 ADR로 조정되는 Fabric 매개변수
여러 Fabric 매개변수는 YAML 기본값으로 고정된 값이 아니라 ADR 커리큘럼의 일부로 조정된다.
- C-space 감쇠 게인: 높은 값에서 시작해 제어를 크게 평활화하고 학습을 쉽게 만든 뒤, 성공률이 높아질수록 더 낮은 값으로 조정되어 반응성이 높은 동작을 유도한다.
- 속도 제어 에너지 목표: 정책이 경험하는 동작 속도의 범위를 넓히도록 조정된다.
- 속도 감쇠: Fabric의 속도 출력과 관절 컨트롤러 사이에 적용되는 스칼라 값으로, 이 역시 ADR을 통해 조정된다.
따라서 Fabric은 고정된 블랙박스 컨트롤러로 취급되지 않고 커리큘럼의 일부로 다뤄진다. 정책의 역량이 향상됨에 따라 Fabric이 제공하는 정규화 효과는 점차 완화된다.
G.1 행동 클로닝 손실
행동 클로닝 항은 마할라노비스 가중 L2 거리로 학생의 행동 분포와 교사의 행동 분포가 갖는 두 모멘트를 모두 일치시킨다.
KUKA-iiwa7 및 Allegro 시스템에서는 교사의 고정 표준편차가 차원별 정밀도 가중치로 사용된다. 교사가 더 확신하는 관절, 즉 표준편차가 더 작은 관절일수록 손실에 더 크게 기여한다.
G.2 보조 8개 키포인트 포즈 손실
보조 헤드는 월드 프레임에서 페그 바운딩 박스의 8개 꼭짓점을 예측한다. 손실은 각 꼭짓점 잔차에 대한 L2 노름이다.
G.3 전체 증류 목적 함수
행동 클로닝 손실 항과 보조 포즈 손실 항은 각각의 가중 계수를 사용해 결합한다.
자주 묻는 질문
ADEPT 프레임워크의 세 단계는 무엇인가? 시뮬레이션 사전 학습, 증류를 포함한 강화학습 후속 학습, 그리고 스테레오 RGB 비전 기반 학생 정책을 위한 교사-학생 증류다.
실세계 증류 과정의 주요 병목은 무엇인가? 가장 큰 병목은 인식이며, 특히 가려진 상황에서 비대칭 페그의 방향을 추정하는 일이 어렵다.
ADR은 학습 과정을 어떻게 바꾸는가? ADR은 실행 중 성공률이 0.4를 초과할 때마다 50개 단계에 걸쳐 매개변수를 쉬운 설정에서 어려운 설정으로 점진적으로 조정한다.
보조 포즈 헤드는 무엇을 예측하는가? 월드 프레임에서 페그 바운딩 박스의 8개 꼭짓점을 예측한다.