우한 대학교 연구진이 사전 훈련된 Action Chunking Transformer(ACT) 정책을 강화학습(RL)으로 미세 조정하여 작업 성공률과 힘 안전성을 획기적으로 개선하는 PAC-ACT 프레임워크를 발표했다. 하이브리드 KL 제약 조건을 통해 원래 ACT 구조를 Actor-Critic 구조로 변환하는 이 방법은 Contour 작업 성공률을 60%에서 100%로 끌어올리고 최대 접촉력을 98% 이상 감소시킨다. 이 모든 것이 ACT의 장점인 저지연 청크 기반 동작 생성을 유지하면서 이루어져 산업 현장 배치에 이상적이다.
목차
연구진이 만든 것
PAC-ACT는 이미 사전 훈련된 Action Chunking Transformer 정책에 강화학습을 적용하는 사후 훈련 프레임워크다. 원래 ACT는 고정 길이의 미래 동작 시퀀스(청크)를 단일 전방 패스로 생성하는 행동 복제 방법으로, 부드럽고 지연 시간이 짧은 제어를 가능하게 한다. 하지만 모든 모방 학습 정책과 마찬가지로 분포 외 상태에서 어려움을 겪거나 안전하지 않은 힘을 발생시킬 수 있다.
PAC-ACT는 사전 훈련된 ACT 백본에서 CVAE(Conditional Variational Autoencoder) 잠재 모듈을 제거하여 아키텍처를 RL 최적화에 적합하게 단순화하고, 남은 인코더와 디코더로 Actor-Critic 네트워크를 구성한다. 하이브리드 KL 발산 제약을 통해 미세 조정된 정책이 원래 행동 사전과 가깝게 유지되어 파괴적 망각을 방지한다. 또한 연구진은 마르코프 결정 과정(MDP)을 재구성하여 단계별 RL과 청크 수준 동작 생성 간의 불일치를 해결함으로써 RL 에이전트가 움직임의 시간적 구조를 깨지 않고 희소하거나 조밀한 보상으로부터 학습할 수 있게 한다.
실험은 두 가지 정밀 접촉 작업에 초점을 맞춘다: Metal Touch Contour(경로를 따라 힘 제한을 초과하지 않으며 이동)와 Square Assembly(사각 구멍에 핀 삽입). 이 작업들은 높은 성공률과 엄격한 힘 안전성을 동시에 요구하여 성능과 안전성 간의 절충을 테스트하기에 이상적이다.
주요 결과
숫자가 모든 것을 말해준다. Contour 작업에서 사전 훈련된 ACT는 60%의 성공률을 보인다. PAC-ACT 미세 조정 후 성공률은 100%로 뛰어오른다. Square Assembly에서는 51.2%에서 98.2%로 개선된다. 비교를 위해 3B 파라미터 VLA 기반 모델(π0.5)은 Contour에서 79%, Square Assembly에서 62.6%에 그치며 44.15GB의 GPU 메모리를 소비하여 엣지 배치에 비실용적이다.
| 측정 항목 | 사전 훈련된 ACT | PAC-ACT (미세 조정) | 개선율 |
|---|---|---|---|
| Contour 성공률 | 60.0% | 100% | +66.7% |
| Square Assembly 성공률 | 51.2% | 98.2% | +91.8% |
| Contour 중 최대 힘 | 8,452.5 N | 120.9 N | -98.6% |
| 평균 완료 시간 | 48.5초 | 17.1초 | -64.7% |
| 완료까지 평균 단계 수 | 485.4단계 | 170.6단계 | -64.9% |
성공률 외에도 힘 안전성 개선이 인상적이다. 최대 힘이 8,452.5N에서 120.9N으로 98% 이상 감소했다. 이러한 극단적인 힘은 실패 에피소드의 소수에서만 발생하므로 표준 행동 복제 평가에서 놓치기 쉽다. PAC-ACT는 이러한 숨겨진 위험을 체계적으로 제거한다.
작동 원리
PAC-ACT는 LeRobot의 ACT 구현을 기반으로 하며 세 단계 파이프라인을 따른다:
- 아키텍처 변환. 사전 훈련된 ACT 모델(인코더 + CVAE + 디코더)에서 CVAE 잠재 모듈을 제거한다. 인코더와 디코더가 Actor 네트워크로 재사용된다. 별도의 Critic(가치 함수) 네트워크가 추가되며, 동일한 인코더를 공유하지만 자체 MLP 헤드를 가진다. 이 설계는 원래 정책의 빠른 청크 생성을 유지하면서 RL 훈련을 가능하게 한다.
- MDP 재구성. 표준 RL은 각 시간 단계를 상태-행동 쌍으로 취급하지만 ACT는 미래 행동의 청크(예: 16단계)를 출력한다. PAC-ACT는 MDP를 재구성하여 RL 에이전트가 각 시간 단계에서 실행할 청크를 선택하도록 한다. 이는 구조적 불일치를 해결한다. 정책은 여전히 청크를 생성하지만 RL 보상은 청크 전체에 대해 계산되며, Critic은 청크 실행 전 상태의 가치를 평가한다.
- 하이브리드 KL 제약. 미세 조정된 정책이 사전 훈련된 동작에서 너무 멀어지는 것을 방지하기 위해 두 가지 KL 발산 제약이 적용된다. 첫 번째는 Actor를 원래 고정 정책에 가깝게 유지하고, 두 번째는 잠재 표현을 정규화한다. 이러한 제약은 보상이 희소할 때 중요하다. 즉, 정책이 불규칙하거나 안전하지 않은 움직임으로 붕괴되는 것을 방지한다.
훈련 환경은 MuJoCo를 사용하며 두 대의 RGB 카메라(전면 및 손목 뷰, 512×512)와 관절 각도 인코딩을 사용한다. 힘/토크 판독값은 보상 계산과 안전성 평가에만 사용되며 정책 입력으로 사용되지 않는다. 제어 주파수는 10Hz이며 각 RL 에피소드는 최대 512단계(약 51초) 동안 실행된다. 검증 중 최대 지속 시간은 600단계이며, 성공적인 완료 시 조기 종료된다.
로봇 공학에서의 중요성
PAC-ACT는 사전 훈련된 로봇 정책을 RL을 통해 처음부터 다시 시작하지 않고 사용자 지정할 수 있는 실용적인 경로를 보여준다. 단일 작업에 수천 번의 시연이 필요할 수 있는 산업 응용 분야에서는 적당한 수의 RL 에피소드로 기존 정책을 미세 조정하는 것이 데이터 수집 및 훈련 시간을 몇 주씩 절약할 수 있다.
힘 안전성 개선은 인간 근처나 민감한 부품을 다루는 제조 및 조립 로봇에 특히 중요하다. 최대 힘의 98.6% 감소는 부품 손상 감소, 유지 보수 비용 절감, 더 안전한 인간-로봇 협업을 의미한다. 이 방법은 ACT의 저지연 추론(단일 RTX 2080 Ti에서 80M 파라미터 모델 기준 약 0.01초)을 유지하므로 엣지 하드웨어에서 실시간 배치에 적합하다.
반복적이지만 가변적인 작업(예: 빈 피킹, 키팅)을 수행하는 창고 및 물류 응용 분야에서 이 접근 방식은 새로운 제품 형상에 대한 빠른 재훈련을 가능하게 한다. 마찬가지로 모방 학습에 의존하는 휴머노이드 로봇과 중고 협동로봇은 구조화되지 않은 환경에서 강건성을 개선하기 위해 RL 기반 미세 조정의 이점을 얻을 수 있다.
한계와 미해결 과제
현재 실험은 전적으로 시뮬레이션에서 수행된다. 미세 조정된 정책의 시뮬레이션-실제 전환은 아직 검증되지 않았으므로 실제 성능은 센서 노이즈, 캘리브레이션 오류 또는 동역학 불일치로 인해 다를 수 있다. 강건성 평가도 제한적이다. 객체 초기 위치 섭동과 다중 궤적 일반화만 다루며 조명 변화나 동적 매개변수 변화와 같은 시각적 변화는 다루지 않는다.
CVAE 모듈을 제거하면 RL 최적화가 단순화되지만 원래 ACT의 강점으로 알려진 고도로 다중 모드인 행동 분포를 표현하는 정책의 능력이 제한될 수 있다. 향후 연구는 다중 모달리티를 유지하면서 훈련 안정성을 유지하는 정규화된 CVAE 통합을 탐구할 수 있다. 또한 이 프레임워크는 여전히 작업별 보상 설계가 필요하므로 엔지니어링 부담이 된다. 더 자동화된 보상 지정 방법이 이 접근 방식을 실무자에게 더 접근하기 쉽게 만들 것이다.
자주 묻는 질문
Action Chunking Transformer(ACT)란? ACT는 단일 전방 패스로 고정 길이의 미래 동작 시퀀스를 생성하여 시연 데이터로부터 부드럽고 지연 시간이 짧은 로봇 제어를 가능하게 하는 행동 복제 방법이다.
PAC-ACT는 다른 RL 미세 조정 접근 방식과 어떻게 다른가? PAC-ACT는 사전 훈련된 청킹 정책을 특별히 대상으로 하여 MDP를 재구성해 단계별 RL을 청크 수준 동작 생성과 정렬하고 하이브리드 KL 제약을 사용하여 원래 행동 사전을 유지한다.
PAC-ACT 평가에 사용된 작업은? 이 방법은 MuJoCo 시뮬레이션된 두 가지 작업인 Metal Touch Contour(힘 제한이 있는 경로 추적)와 Square Assembly(사각 구멍에 핀 삽입)에서 테스트되었다.
PAC-ACT는 각 작업에 대한 보상 함수 설계가 필요한가? 그렇다. 현재 프레임워크는 최상의 성능을 위해 작업별 조밀한 보상에 의존하지만 희소 보상도 행동 사전 제약과 결합하면 여전히 작동할 수 있다.
결론
PAC-ACT는 비교적 가벼운 RL 사후 훈련 단계가 적절한 모방 학습 정책을 탁월한 수준으로 변환하여 성공률을 두 배로 높이고 위험한 힘 급증을 거의 제거할 수 있음을 보여준다. 신뢰성과 안전성이 가장 중요한 산업용 로봇 공학에서 이 접근 방식은 처음부터 다시 훈련하지 않고 기존 ACT 기반 배치를 업그레이드하는 실용적인 방법을 제공한다.