개방형 환경에서의 조작은 접촉 및 미끄러짐 이벤트에 대한 빠른 대응을 필요로 합니다. 손가락 끝이 처음 접촉하거나, 파지가 고착에서 미끄러짐으로 전환될 때, 관련된 손-물체 상호작용 신호는 종종 짧고 미묘하거나 시각적으로 가려집니다. 우리는 VibeAct를 제안합니다. 이 프레임워크는 로봇 손에 내장된 압전 마이크를 사용하여 이러한 접촉 및 미끄러짐 상호작용을 추정하고, 이를 학습된 손재주 조작 정책을 위한 촉각 관측값으로 활용합니다.
실제 진동촉각 관측값으로부터 직접 손재주 조작을 학습하는 것도 비현실적입니다. 대규모 접촉이 풍부한 시연 데이터를 수집하는 것은 노동 집약적이며, 온라인 강화 학습은 초기 훈련 중 불안정한 탐색으로 인해 비용이 엄청나게 많이 들고 잠재적으로 위험합니다. 이러한 제약 조건은 실제 진동촉각 감지와 시뮬레이션 기반 제어를 연결할 수 있는 표현의 필요성을 강조합니다.
이 연구의 핵심 통찰은 접촉과 미끄러짐이 시뮬레이션-실제 정책 학습을 위한 감지와 제어 사이의 인터페이스를 제공한다는 것입니다. 접촉 시작, 이진 미끄러짐, 스칼라 미끄러짐 크기는 저차원적이고 작업과 관련된 양으로, 실제 마이크 신호로부터 추정할 수 있을 뿐만 아니라 접촉 시뮬레이터에서 직접 계산할 수 있습니다. VibeAct는 원시 오디오에 대해 정책을 훈련하는 대신, 마이크 파형을 이 물리적 표현에 매핑하는 촉각 추정기를 학습하고, 동일한 표현을 관측 채널로 사용하여 시뮬레이션에서 강화 학습 정책을 훈련합니다. 추정기는 감지 문제를 해결하고, 시뮬레이터는 제어 문제를 해결합니다.
우리는 로봇 팔에 장착된 손재주 손에 VibeAct를 구현하고, 각 손가락 끝에 압전 마이크를 내장했습니다. 우리는 보정된 디지털 클론에서 로봇 궤적과 물체 포즈의 실제 녹음을 재생하고, 시뮬레이터의 접촉 솔버를 사용하여 촉각 추정기 훈련을 위한 접촉 및 미끄러짐 레이블을 생성합니다. 동일한 촉각 표현을 고유수용감각 및 포인트 클라우드 관측값과 함께 사용하여 시뮬레이션에서 완전히 PPO 정책을 훈련합니다. 그런 다음 학습된 정책을 손 안에서 재배향 및 페그 삽입을 포함한 접촉이 풍부한 조작 작업에서 평가합니다.
이 논문은 세 가지 기여를 합니다: (i) 실제 진동촉각 감지와 시뮬레이션 기반 정책 학습을 연결하는 공유 접촉-미끄러짐 표현에 기반한 진동촉각 손재주를 위한 시뮬레이션-실제 프레임워크; (ii) 실제 시연으로부터 자동으로 손가락별 접촉 및 미끄러짐 감독 레이블을 생성하는 디지털 클론 데이터 레이블링 파이프라인; (iii) 이 표현이 접촉이 풍부한 손재주 조작 작업 전반에 걸친 강화 학습을 위한 효과적인 촉각 관측값으로 작용함을 보여주는 경험적 연구.
방법
VibeAct는 세 가지 구성 요소로 이루어집니다. 첫째, 원격 조작 파이프라인이 로봇 및 물체 상태를 진동-음향 신호와 동기화하여 기록한 다음, 보정된 디지털 클론의 시뮬레이션에서 궤적을 재생하여 촉각 표현으로 손가락별 접촉 및 미끄러짐 레이블을 생성합니다. 둘째, 촉각 추정기가 실제 마이크 신호를 이 촉각 표현에 매핑하는 방법을 학습합니다. 셋째, RL 정책이 고유수용감각, 포인트 클라우드 및 동일한 촉각 표현을 관측값으로 사용하여 시뮬레이션에서 훈련됩니다. 배포 시, 훈련된 추정기가 시뮬레이터에서 파생된 촉각 채널을 대체합니다.
촉각 표현
표현은 의도적으로 접촉 위치, 표면 법선, 접선 방향, 물체 식별 및 힘 벡터와 같은 특권 시뮬레이터 정보를 제외합니다. 이 제한은 표현이 물리적 마이크 신호로부터 예측 가능해야 하고 물체 및 작업 간에 전이 가능해야 하기 때문에 중요합니다. 동시에, 반응형 조작에 필요한 주요 피드백, 즉 손가락 끝이 방금 물체에 닿았는지, 미끄러짐이 발생하고 있는지, 그 심각성이 어느 정도인지를 보존합니다.
촉각 추정기
우리는 접촉 시작과 미끄러짐이 시뮬레이션과 실제 진동-음향 감지 모두에서 동일한 물리적 의미를 유지한다고 가정합니다. 이 가정 하에, 우리는 실제 마이크 오디오를 디지털 클론 재생 파이프라인에서 생성된 접촉 및 미끄러짐 레이블에 매핑하는 촉각 추정기를 훈련합니다.
정책 학습
우리는 MuJoCo 시뮬레이션에서 PPO를 사용하여 다섯 가지 작업 모두에 대해 일관된 정책 아키텍처를 훈련하며, 장면과 작업 보상만 다릅니다. 각 작업은 물체 마찰, 질량, 스케일 및 포즈에 대한 에피소드별 도메인 무작위화 하에 동일한 xArm7 및 LEAP 손 모델을 인스턴스화하므로, 정책은 암기된 기하학보다는 접촉 피드백에 의존해야 합니다.
촉각 추정기 평가
우리는 정책 배포 전에 촉각 추정기를 훈련하고 평가하기 위해 두 개의 원격 조작 데이터셋을 수집합니다. 고정 물체 데이터셋(5시간)은 테이블에 단단히 장착된 물체와의 상호작용을 포함하며, 로봇 움직임을 통해서만 미끄러짐을 유도합니다. 이는 다양한 접촉 및 미끄러짐 이벤트를 확장하지만, 손재주 조작과 다른 미끄러짐 역학을 생성합니다. 움직이는 물체 데이터셋(2시간 미만)은 자유롭게 움직이는 물체의 손 안 조작을 포함하며, 미끄러짐은 손가락 움직임, 팔 움직임 및 중력으로 인해 발생합니다. 우리는 일반적인 진동-음향 패턴을 학습하기 위해 고정 물체 데이터로 사전 훈련한 다음, 배포 환경에 맞게 움직이는 물체 데이터로 미세 조정합니다. 모든 모델을 보류된 움직이는 물체 분할에서 평가하며, 이진 접촉 시작 및 미끄러짐 존재 탐지에 대한 F1과 미끄러짐 크기에 대한 MAE를 네 손가락에 걸쳐 평균하여 보고합니다.
우리는 또한 손가락 간 매개변수 공유를 평가합니다. 독립적인 예측 헤드를 유지하면서 인코더를 공유하면 VibeAct에 비해 접촉 시작 F1이 2.3% 감소하고 미끄러짐 크기 MAE가 1.9% 증가합니다. 인코더와 예측 헤드를 모두 공유하면 성능 저하가 더욱 심화되어 접촉 시작 F1이 3.7% 감소하고 MAE가 4.8% 증가합니다. 이러한 결과는 각 손가락 끝이 고유한 접촉 기하학 및 진동 전파 특성을 나타내므로 전용 특징 추출 및 예측 헤드가 필요함을 시사합니다.
작업 성능
우리는 VibeAct를 촉각 입력이 없는 고유수용감각 및 포인트 클라우드 기준선(Prop+PC)과 비교하고, 접촉 시작, 미끄러짐 존재 및 미끄러짐 크기 채널을 점진적으로 추가하여 촉각 표현을 제거합니다. 우리는 3개의 무작위 시드에 걸쳐 훈련된 100회 시행을 기반으로 결과를 보고합니다.
제거 실험 결과 미끄러짐 크기가 중요한 채널이며, 이를 단독으로 추가했을 때 모든 작업에서 가장 큰 성능 향상을 보였습니다. 접촉 시작은 단독으로는 불일치한 향상을 보였고 일부 작업에서는 성능을 저하시켰는데, 이는 희소한 시작 펄스만으로는 지속적인 반응형 제어에 제한된 정보를 제공하기 때문일 가능성이 높습니다. 미끄러짐 존재는 중간 정도의 이점을 제공했습니다. 종합하면, 이러한 결과는 연속적인 미끄러짐 크기 신호가 VibeAc의 장점의 주요 원천이며, 접촉이 풍부한 조작에 필요한 등급별 피드백을 제공한다는 것을 나타냅니다.
우리는 시뮬레이션에서 훈련된 정책을 물리적 플랫폼에 직접 배포하고, 시뮬레이터에서 파생된 촉각 채널을 훈련된 추정기로 대체합니다. VibeAct는 배포된 모든 작업에서 Prop+PC보다 개선되었습니다. 이러한 결과는 실제 마이크 녹음에서 완전히 학습되고 드롭인 관측 채널로 사용된 접촉-미끄러짐 표현이 실제 감지 및 작동 잡음 하에서도 그 이점을 유지함을 나타냅니다.
한계
VibeAct의 간결한 접촉 및 미끄러짐 표현은 접촉 위치, 표면 질감 및 미끄러짐 크기를 넘어서는 상호작용 역학과 같은 원시 진동 신호의 정보를 버립니다. 더 풍부한 표현이 도움이 될 수 있지만 시뮬레이션-실제 음향 정렬이 더 필요합니다. 촉각 추정기는 또한 고정된 하드웨어 구성에 묶여 있으며, 마이크 위치, 손가락 재료 또는 물체 특성이 변경되면 재보정이 필요할 수 있습니다. 디지털 클론 레이블링은 주석이 필요 없지만 정확한 물체 포즈 추적에 의존하므로 비구조적 환경에서 사용이 제한됩니다. 마지막으로, 정책은 촉각 표현을 평면 벡터로 취급하므로 손가락별 접촉 이벤트의 공간적 및 시간적 구조를 모델링하는 아키텍처를 위한 여지가 남아 있습니다.
네트워크 아키텍처
동일한 네트워크 아키텍처가 모든 작업 및 모든 촉각 변형에 사용되며, 작업 동작 공간에 따라 동작 헤드의 출력 차원만 변경됩니다.
보상 함수
형태화된 보상은 다섯 가지 항목으로 구성됩니다:
- 상승 진행: 잡힌 물체의 세계-z 높이의 새로운 양의 증가에 대한 보상 (단측, 최고 기록 기준 래칫)
- 손가락별 전진: 물체 몸체 축을 따라 새로운 하강에 대한 손가락 끝당 보상 (단측)
- 유지: 접촉 중인 손가락 끝 수에 비례하는 단계당 보상
- 낙하: 잡힌 물체가 초기 포즈 아래 일정 임계값 이상 떨어지면 일회성 패널티
자주 묻는 질문
VibeAct는 어떤 감지 하드웨어를 사용하나요? VibeAct는 손재주 로봇 손의 각 손가락 끝에 내장된 압전 마이크를 사용하여 접촉 및 미끄러짐 이벤트 중 진동-음향 신호를 포착합니다.
VibeAct는 촉각 감지를 위해 시뮬레이션과 현실을 어떻게 연결하나요? 실제 마이크 신호를 공유 접촉-미끄러짐 표현에 매핑하는 촉각 추정기를 훈련하며, 이 표현은 완전히 시뮬레이션에서 훈련된 강화 학습 정책의 관측 채널로도 사용됩니다.
VibeAct를 평가하는 데 어떤 작업이 사용되었나요? 프레임워크는 로봇 팔에 장착된 손재주 손을 사용하여 손 안 재배향 및 페그 삽입을 포함한 접촉이 풍부한 조작 작업에서 평가되었습니다.
VibeAct 성능에 가장 중요한 촉각 신호는 무엇인가요? 미끄러짐 크기가 가장 중요한 채널로, 등급별 연속 피드백을 제공하여 테스트된 모든 작업에서 가장 큰 성능 향상을 주도합니다.