조작 로봇은 타이밍 트레이드오프에 직면합니다. 접촉 전에는 여러 접근 옵션을 탐색해야 하지만, 물체에 닿는 순간 밀리초 단위로 반응해야 합니다. 새로운 시각-힘 확산 정책인 FA-RDP는 작업 단계에 따라 느린 다중 모드 계획과 빠른 단일 단계 반응 제어를 전환하며, 실제 접촉 기반 작업에서 강력한 기준선 대비 성공률을 30.0% 포인트 향상시킵니다.
목차
연구진이 만든 것은 무엇인가?
FA-RDP(주파수 적응형 반응 확산 정책)는 고정물에 대해 박스를 뒤집기, 스위치 토글, 버튼 누르기와 같은 접촉 기반 조작 작업을 위한 엔드투엔드 정책입니다. 핵심 아이디어는 로봇이 전체 에피소드 동안 단일 고정 제어 주파수로 정책을 실행해서는 안 된다는 것입니다. 접촉 전에는 충돌을 피하고 실현 가능한 전략을 선택하기 위해 가능한 접근 모션의 분포가 필요합니다. 접촉 후에는 다양성보다 힘 피드백에 빠르게 반응하는 것이 더 중요합니다.
이 시스템은 세 가지 구성 요소로 이루어져 있습니다: 주파수 인식 위치 인코딩을 사용하여 저주파 및 고주파 액션 청크를 모두 출력하는 공유 시각-힘 확산 백본, 현재 접촉 전 행동의 모호성을 추정하는 학습된 다중 모드 지표, 그리고 고주파 샘플러를 단일 단계 추론으로 압축하는 다양체 일관성 증류입니다. 동일한 Transformer 백본이 두 속도에서 재사용되므로 별도의 모델이 필요하지 않습니다. 느린-빠른 어텐션 구조는 시각적 맥락을 낮은 속도로 처리하고 힘 피드백을 높은 속도로 처리하며, 미래 접촉 정보가 예측에 누출되는 것을 방지하기 위해 인과적 마스킹을 사용합니다.
주요 결과는 무엇인가?
듀얼 박스 뒤집기, 듀얼 스위치 토글, 듀얼 버튼 누르기의 세 가지 실제 작업에서 FA-RDP는 가장 높은 평균 성공률을 달성했으며, 주요 고정 주파수 기준선을 30.0% 포인트 차이로 능가했습니다. 이러한 향상은 단계 인식 전략에서 비롯되었습니다: 정책은 비전 전용 및 회귀 기준선이 붕괴시킨 접촉 전 다양성을 유지한 다음, 다중 모드가 낮은 접촉 단계에서 증류된 고주파 샘플러를 활성화했습니다.
구성 요소 연구는 각 설계 선택을 확인했습니다. 다중 모드 유도 선택을 제거하고 고정 고주파 정책을 실행하면 접촉 전 옵션을 잃어 성공률이 떨어졌습니다. 다양체 일관성 증류를 기존의 단일 단계 방법(MeanFlow 또는 Consistency Policy)으로 대체하면 성능이 저하되어, 로봇 액션 다양체에서 액션 청크를 예측하는 것이 안정적인 단일 단계 제어에 중요함을 보여주었습니다. 추론 지연 시간은 소비자용 CPU-GPU 설정에서 고주파 실행 시 30ms 미만, 저주파 실행 시 50ms 미만으로 유지되었습니다.
| 보고된 결과 | 값 |
|---|---|
| 주요 기준선 대비 평균 성공률 | +30.0% 포인트 |
| 고주파 추론 지연 시간 | < 30ms |
| 저주파 추론 지연 시간 | < 50ms |
| 작업당 데모 수 | 60 |
| 작업당 평가 시도 수 | 20 |
FA-RDP는 어떻게 작동하나?
FA-RDP는 기존 시각-힘 확산 정책의 일관된 반응 확산 추론 메커니즘을 기반으로 합니다. 관측은 시각-고유수용성 맥락을 전달하는 느린 토큰과 엔드이펙터 센서의 고밀도 힘 데이터를 전달하는 빠른 토큰으로 분할됩니다. 인과적 액션-힘 마스크가 있는 Transformer를 통해 각 액션 토큰은 현재 및 과거 힘 토큰에만 어텐션할 수 있습니다. 이는 병렬 확산 훈련을 허용하면서 네트워크가 미래 접촉 이벤트를 학습하는 것을 방지합니다.
주파수 적응 자체는 두 단계로 훈련됩니다. 1단계에서는 주파수 인식 위치 인코딩으로 공유 다중 주파수 백본을 훈련하여 하나의 네트워크가 다단계 저주파 액션 청크와 고주파 청크를 모두 예측할 수 있게 합니다. 2단계에서는 백본을 동결하고 보정 세트에서 작은 "다중 모드 지표" 헤드를 훈련합니다. 각 보정 예제에 대해 시스템은 다양한 확산 노이즈로 저주파 정책을 여러 번 샘플링하고 샘플링된 액션 청크 간의 경험적 잔차를 측정합니다. 높은 잔차는 많은 그럴듯한 모션 옵션이 남아 있음을 의미하고, 낮은 잔차는 접촉 단계가 솔루션 공간을 좁혔음을 의미합니다. 배포 중에 지표는 현재 느린 토큰을 읽고 고정 임계값을 적용하여 저주파 샘플러와 고주파 증류 샘플러 사이를 결정합니다.
고주파 샘플러는 여전히 여러 디노이징 단계가 필요하기 때문에 저자는 다양체 일관성 증류로 증류합니다. 노이즈 유사 엡실론, 점수 또는 속도 대상을 예측하는 대신, 네트워크는 DDPM 기반 잔차 감독을 유지하면서 로봇 액션 다양체에서 액션 청크를 직접 예측하도록 재매개변수화됩니다.这使得단일 단계 추론이 힘 반응 제어에 충분히 안정적입니다. 또한 공유 100Hz 명령 레이어는 정책 출력을 보간하고 Flexiv 데카르트 모션-힘 인터페이스에 도달하기 전에 최신 측정 외력을 사용하여 각 명령을 조정합니다.
이것이 로봇 공학에 왜 중요한가?
접촉 기반 조작은 많은 로봇 배치가 여전히 실패하는 영역입니다. 조립, 스위치 작동, 플러그 삽입, 버튼 작동 모두 로봇이 여러 가능한 접근 경로를 추론한 다음 접촉이 이루어지면 갑자기 강직하고 반응적인 모드로 전환해야 합니다. FA-RDP의 단계 인식 제어는 더 무거운 컴퓨팅이나 더 빠른 액추에이터 없이 이러한 시스템을 더 안정적으로 만들 수 있습니다.
주파수 적응 설계는 또한 실용적인 패턴을 시사합니다: 모호성이 높은 곳에 추론 예산을 사용하고, 빠른 폐루프 응답이 필요한 작업에서만 증류된 단일 단계 추론을 사용하는 것입니다. 이 패턴은 통합 라인의 로봇 팔, 물체를 조작하는 휴머노이드 플랫폼, 구조화된 작업을 수행하는 창고 로봇에 직접 적용됩니다. 하드웨어를 선택하는 팀은 Robot Overflow에서 휴머노이드 로봇 보기 및 중고 산업용 로봇에서 실제 접촉 작업을 처리하기 위해 점점 더 이런 힘 인식, 단계 적응 제어가 필요합니다.
한계와 향후 과제는 무엇인가?
FA-RDP는 각각 60개의 데모로 세 가지 작업에서 테스트되었으며, 다중 모드 지표는 보정 세트에서 조정된 고정 임계값에 의존합니다. 이 임계값은 작업, 물체 또는 컨트롤러 게인을 변경할 때 다시 조정해야 할 수 있습니다. 평가는 또한 단순화된 제어 레이어를 공유합니다: 100Hz 힘 보상은 병진을 처리하지만 회전 접촉 오류는 명시적으로 수정되지 않습니다.
이 논문은 주파수 적응이 더 풍부한 6-DOF 접촉 작업, 더 긴 시간 범위 또는 시뮬-투-실 전송으로 확장되는지, 그리고 임계값이 고정되지 않고 온라인으로 학습될 수 있는지에 대한 질문을 남겨둡니다. 또한 더 타이트한 컴퓨팅 예산을 가진 엣지 로보틱스 플랫폼에 정책을 배포하는 것은 여전히 검증이 필요합니다.
자주 묻는 질문
접촉 기반 조작에서 고정 제어 주파수가 왜 문제인가?
로봇은 모호성을 처리하기 위해 접촉 전에 다양한 가능한 모션이 필요하지만, 접촉 후에는 빠르고 부드러운 반응이 필요합니다. 단일 고정 주파수는 이 두 가지 모드 중 하나를 희생합니다.
다중 모드 지표는 어떤 샘플러를 사용할지 어떻게 결정하나?
보정 세트에서 훈련된 작은 헤드입니다. 저주파 정책을 다양한 노이즈로 여러 번 샘플링하고 예측된 액션 청크가 얼마나 변하는지 측정합니다. 높은 분산은 높은 다중 모드를 의미하며 느린 샘플러를 유지합니다.
다양체 일관성 증류란 무엇인가?
확산 네트워크를 노이즈 유사 대상 대신 로봇 액션 다양체에서 액션 청크를 직접 예측하도록 재매개변수화하는 증류 방법입니다. 이를 통해 DDPM 잔차 감독으로 안정적인 단일 단계 고주파 추론이 가능합니다.
FA-RDP는 느린 제어와 빠른 제어를 위해 별도의 모델이 필요한가?
아니요. 주파수 인식 위치 인코딩을 사용하여 단일 시각-힘 확산 백본이 주파수 간에 공유되므로, 하나의 네트워크가 저주파 및 고주파 액션 청크를 모두 예측합니다.
결론
FA-RDP는 샘플링 속도와 전략이 일정하게 유지되는 대신 조작 단계에 따라 변경되어야 함을 보여줍니다. 접촉 전 다중 모드 계획을 보존하고 접촉 시 증류된 단일 단계 반응 제어로 전환함으로써 실제 로봇에서 상당한 성공률 향상을 달성합니다. 다양성과 반응성의 이러한 조합은 접촉 기반 작업이 요구하는 바로 그것입니다.