Patch Policy는 로봇 학습에서 패치 수준 시각 특징의 효과를 조사하며, 사전 학습된 조밀한 시각 표현을 활용하여 우수한 성능을 유지하면서도 계산 효율성이 높은 정책 클래스를 소개합니다.
정책 학습
이 공식은 행동 헤드 아키텍처와 학습 목표에 독립적입니다. 실험에서는 두 가지 최신 아키텍처를 사용하여 Patch Policy를 평가합니다: 혼합 분류-회귀 손실을 사용하는 VQ-BeT(Vector-Quantized Behavior Transformer)와 디노이징 목표를 사용하는 Diffusion Policy입니다.
훈련 중에는 패치 토큰 시퀀스를 정책 트랜스포머 본체와 행동 헤드에 전달하고, 각 프레임에 대해 예측된 행동과 실제 행동 간의 손실을 계산합니다. 추론 시에는 현재 관찰에서 패치 특징을 추출하여 구성 가능한 시퀀스 길이의 롤링 컨텍스트 창에 추가합니다. 정책은 관찰 컨텍스트에서 행동 청크를 예측하고, 후퇴 수평선 제어로 행동을 실행합니다.
실험
Patch Policy를 네 개의 시뮬레이션 환경과 세 개의 실제 로봇 조작 환경에서 평가하며, 다음 주요 연구 질문에 답하고자 합니다:
- Patch Policy는 전역 및 패치 특징을 사용하는 최신 정책과 비교하여 어떤 성능을 보이는가?
- Patch Policy는 실제 정밀 조작에 효과적인가?
- 최신 사전 학습된 인코더는 하위 정책 학습을 위한 표현으로서 어떤 성능을 보이는가?
- 시각 특징의 공간적 압축은 하위 작업 성능에 어떤 영향을 미치는가?
- Patch Policy는 효율성 측면에서 다른 방법들과 어떻게 비교되는가? 주의 메커니즘 설계와 모델 크기는 성능에 어떤 영향을 미치는가?
환경
Patch Policy를 2D에서 7D까지의 행동 공간을 가진 네 개의 시뮬레이션 환경(Push-T, LIBERO Goal, BlockPush, Cube)과 평행 조 그리퍼가 장착된 7자유도 Franka 팔을 사용한 세 가지 실제 작업(전원 케이블 삽입, 도구 걸기, 펜을 홀더에 모으기)에서 평가합니다.
기준선
두 그룹의 기준선과 비교합니다. 패치 특징의 효과를 분리하기 위해 동일한 정책 헤드(VQ-BeT, Diffusion Policy)를 표준 전역 표현(DynaMo, CLS 토큰, 전역 평균 풀링)과 짝지었습니다. Patch Policy를 최신 기술과 비교하기 위해 밀집 특징을 사용하는 ACT 및 OpenVLA-OFT와 비교합니다. 기준 표현 및 정책은 다음과 같습니다:
시각 표현 기준선: - DynaMo: 역학 기반 공동 임베딩 예측 아키텍처를 통해 학습된 전역 풀링 표현. - CLS 토큰: Vision Transformer의 클래스 토큰으로, 장면의 압축된 요약을 나타냄. - 평균 풀링: 전역 평균 풀링을 통해 공간 특징 맵을 단일 벡터로 축소하는 기준선. - ACT: 중첩 청크에 대한 시간적 앙상블을 통해 미세 조작에서 오류 누적을 줄이는 조건부 VAE로, 행동 청크를 예측합니다. 처음부터 학습된 ResNet-18 비전 인코더의 패치 특징을 사용합니다. - OpenVLA-OFT: 병렬 행동 디코딩과 L1 행동 회귀를 통해 OpenVLA를 미세 조정하여 더 빠른 훈련과 추론을 가능하게 하는 Vision-Language-Action 모델입니다. Llama-2 7B LLM 백본을 기반으로 하며, 사전 학습된 DINOv2 및 SigLIP 비전 인코더의 채널 융합 패치 특징을 사용합니다.
사전 학습된 시각 표현 평가
모든 실험에서 이미지 인코더를 고정하고 정책만 훈련합니다. 이 접근법은 각 백본의 즉시 사용 가능한 표현 능력을 분리하여 평가합니다. 이 고정 설정을 통해 시각 임베딩을 미리 계산할 수 있어 훈련 속도를 크게 향상시킵니다.
특히, 시각 표현의 상대적 순위는 주어진 작업에 대해 다양한 정책 아키텍처에서 놀라울 정도로 일관되게 유지됩니다. 이러한 일관성은 시각 표현의 품질이 여전히 정책 학습의 주요 병목 현상이며, 하위 행동 헤드와 무관함을 시사합니다. 또한, 이러한 표현의 평균 순위는 전체 작업 세트에서 안정적으로 유지되어, 특정 사전 학습 목표의 일반화 가능성을 강조합니다. 이러한 발견에 기반하여, 로봇 학습 작업을 위한 비전 백본으로 WebSSL 또는 DINOv2를 권장합니다.
추가 절제 연구
부록에는 주의 마스크, 모델 크기 및 시각화에 대한 더 많은 실험과 세부 정보가 포함되어 있습니다. 트랜스포머 기반 정책은 전통적으로 관찰 단계당 단일 토큰에 조건을 걸어 표준 토큰 수준 인과 주의를 직접 적용할 수 있습니다. Patch Policy에서는 각 관찰이 토큰 시퀀스이므로 블록-인과 주의 마스크를 적용합니다. 이 설정에서 각 패치 토큰은 동일한 프레임 내의 다른 모든 패치 토큰에 완전히 주의를 기울이는 반면, 프레임 간 주의는 엄격히 인과적입니다. 이 블록-인과 주의를 마스킹이 없는 완전 주의 및 각 패치를 독립적인 시간 단계로 취급하는 토큰-인과 주의의 두 가지 다른 마스킹 선택과 함께 절제합니다.
한계
Patch Policy는 밀집 공간 특징을 효과적으로 활용하지만, 향후 작업을 위한 몇 가지 방향이 남아 있습니다. 첫째, 고정된 비전 백본에만 초점을 맞추었으며, 향후 작업에서는 전문화된 시각 영역에 맞게 이러한 표현을 조정하기 위해 종단 간 미세 조정을 탐구할 수 있습니다. 둘째, 밀집 토큰은 시퀀스 길이와 훈련 시간을 증가시킵니다. FlashAttention과 같은 최적화는 훈련과 추론을 가속화할 수 있습니다. 마지막으로, Patch Policy는 현재 순수 행동 복제 정책으로만 평가되었습니다. 이 패치 기반 아키텍처를 강화 학습으로 확장하는 것은 정적 전문가 시연의 성능 한계를 뛰어넘는 유망한 방향이 될 수 있습니다.
결론
본 연구에서는 패치 수준 특징이 로봇 학습에 미치는 효과를 조사하고, 사전 학습된 밀집 시각 표현을 활용하는 효율적인 정책 클래스인 Patch Policy를 소개합니다. 이는 매개변수 수, 훈련 계산량, 추론 지연 시간 측면에서 계산 효율성을 유지하면서도 우수한 성능을 달성하여, 전역 특징 정책과 무거운 VLA를 모두 능가합니다. 시각 백본을 고정하고 패치 토큰을 블록-인과 주의 마스크를 통해 직접 처리함으로써, Patch Policy는 로봇 공학 커뮤니티에 가벼운 드롭인 파이프라인을 제공하여 실제 조작에 필요한 빠른 훈련과 고주파 제어를 희생하지 않으면서 시각 표현 학습의 지속적인 발전을 쉽게 흡수할 수 있도록 합니다.
Mahi Shafiullah, Irmak Guzey, Kevin Wu, Hengkai Pan, Zifan Zhao, Alex Xiaole Jiang, Andre Wang, Zicheng Teng, Kanad Patel, Yvonne Wu, Zavier Andrianarivo의 귀중한 논의와 피드백에 감사드립니다. 이 연구는 LG, Qualcomm, Honda, Microsoft, Hyundai, NSF award 2339096, ONR awards N00014-21-1-2758 및 N00014-22-1-2773, AFOSR grant FA95502310139의 지원을 받았습니다. Lerrel Pinto는 Sloan, Packard, CIFAR Fellowships의 지원을 받습니다.
자주 묻는 질문
Patch Policy는 CLS 토큰이나 전역 풀링을 사용하는 것과 어떻게 다른가요? Patch Policy는 모든 패치 토큰을 블록-인과 주의로 처리하여 시각 특징의 전체 공간 구조를 보존하며, 단일 전역 벡터로 압축하지 않습니다. 이 밀집 표현은 정밀 조작 작업에 더 풍부한 공간 정보를 제공합니다.
Patch Policy에 가장 적합한 비전 백본은 무엇인가요? WebSSL과 DINOv2는 평가된 모든 작업에서 최고 성능의 고정 백본으로 선정되었으며, 사용된 정책 헤드와 관계없이 순위가 일관되게 유지됩니다. 시각 표현의 품질은 정책 학습의 주요 병목 현상입니다.
Patch Policy는 시뮬레이션뿐만 아니라 실제 로봇에서도 작동하나요? 네, Patch Policy는 7자유도 Franka 팔을 사용한 세 가지 실제 정밀 조작 작업(케이블 삽입, 도구 걸기, 펜을 홀더에 모으기)에서 검증되었으며, 모든 세 작업에서 성공적인 롤아웃을 달성했습니다.
Patch Policy는 왜 비전 인코더를 미세 조정하지 않고 고정하나요? 인코더를 고정하면 각 백본의 표현 품질을 분리하여 평가할 수 있고, 시각 임베딩을 미리 계산할 수 있어 훈련 속도를 크게 향상시킵니다. 미세 조정은 전문화된 시각 영역을 위해 옵션으로 남아 있습니다.