반응형 실시간 흐름 정책으로 빠른 로봇 반사 신경 구현

실제 로봇에 반응형 시각-운동 정책을 적용하려면 실시간 추론이 필요하지만, 현대 아키텍처는 고차원 시각 정보를 처리하는 과정에서 상당한 지연 오버헤드가 발생합니다. 본 논문에서는 작업 성능을 유지하면서 빠른 반사 신경과 같은 반응을 가능하게 하는 처리 파이프라인을 재설계한 반응형 실시간 흐름 정책을 제안합니다. 우리 접근법은 시각 처리를 제어와 분리하여, 비동기적으로 제공되는 시각 맥락과 함께 1kHz로 작동하는 경량의 고유수용성 경로를 사용합니다.

아키텍처 개요

핵심 통찰은 반사적 행동이 주로 고유수용성 피드백에 의존하는 반면, 시각 정보는 더 거친 시간 척도에서 공간적 맥락을 제공한다는 점입니다. 우리는 킬로헤르츠 주파수로 작동하는 빠른 고유수용성 정책과 10Hz로 업데이트되는 느린 시각 처리 스트림으로 구성된 이중 스트림 아키텍처를 설계합니다. 고유수용성 스트림은 최신 시각 특징에 조건화된 확산 정책 공식을 사용합니다.

훈련 방법론

시각 인코더는 먼저 시연 데이터를 사용한 행동 복제로 별도 훈련한 후, 고유수용성 정책 훈련 중에는 고정합니다. 고유수용성 정책은 현재 고유수용성 상태와 최신 시각 임베딩에 조건화된 부드럽고 반응적인 궤적을 생성하도록 학습하는 흐름 매칭 목표를 사용하여 훈련됩니다. 이러한 분리된 훈련 접근법은 전체 시스템을 통한 종단간 역전파 없이 효율적인 학습을 가능하게 합니다.

실시간 구현

시스템은 시각 추론용 GPU와 고유수용성 정책용 별도 CPU 스레드가 있는 표준 데스크탑에서 실행됩니다. 스레드 간 통신은 지연 시간을 최소화하기 위해 잠금 없는 링 버퍼를 사용합니다. 고유수용성 스트림의 종단간 추론 시간은 0.5ms 미만으로, 로봇의 단일 제어 주기 내에 반응이 가능합니다.

실험 결과

동적 물체 잡기, 도달 중 장애물 회피, 교란이 있는 펙 삽입, 움직이는 장애물이 있는 천 접기 등 네 가지 까다로운 조작 작업에서 평가했습니다. 우리 방법은 이전 최신 기법의 작업 성공률과 동등하거나 더 높으면서 반응 지연 시간을 100배 이상 줄였습니다.

절제 연구

각 설계 선택의 기여도를 이해하기 위해 절제 실험을 수행했습니다. 비동기 시각 업데이트를 제거하면 동적 작업에서 성능이 15-20% 저하됩니다. 고유수용성 정책 업데이트 속도를 100Hz에서 1kHz로 높이면 잡기 작업에서 성공률이 8% 향상되어, 반사 행동에 고주파 제어가 중요함을 확인했습니다.

한계점

우리 접근법에는 몇 가지 한계가 있습니다. 첫째, 추론 서버와 로봇 클라이언트 간의 통신 지연과 같이 모델 자체 외부의 지연 원인은 다루지 않았습니다. 둘째, 기본 정책 아키텍처는 변경하지 않았습니다. 고유수용성 특징을 더 강조하도록 설계하면(예: 고유수용성 토큰을 위한 전용 어텐션 헤드) 반응성을 더욱 높일 수 있을 것이며, 이 방향은 향후 연구로 남깁니다.

자주 묻는 질문

이 접근법이 다른 실시간 로봇 제어 방법과 다른 점은 무엇인가요? 이 연구는 시각 처리를 제어와 분리하여, 시각 맥락이 10Hz에서 비동기적으로 업데이트되는 동안 1kHz로 작동하는 경량의 고유수용성 정책을 가능하게 합니다.

별도의 시각 및 고유수용성 스트림으로 훈련 과정은 어떻게 진행되나요? 시각 인코더는 먼저 행동 복제로 훈련된 후 고정됩니다. 고유수용성 정책은 고정된 시각 임베딩과 현재 로봇 상태에 조건화된 흐름 매칭을 사용하여 별도로 훈련됩니다.

보고된 지연 시간을 달성하려면 어떤 하드웨어가 필요한가요? 시스템은 시각 추론용 GPU가 있는 표준 데스크탑 PC에서 실행되며, 고주파 고유수용성 정책을 위해 CPU 스레드를 사용합니다. 스레드 간 통신은 잠금 없는 링 버퍼를 통해 이루어집니다.

이 접근법을 다른 감각 양식을 가진 로봇에 적용할 수 있나요? 이중 스트림 아키텍처는 일반적입니다. 더 느린 시간 척도에서 맥락을 제공하는 모든 고차원 센서를 비동기적으로 처리할 수 있으며, 빠른 저차원 피드백 루프가 반응형 제어를 담당합니다.