RAPID 개요
프로그램 표현
RAPID는 에이전트가 구성한 전략이 서로 다른 장면에 걸쳐 일반화할 수 있도록 객체 중심 관계형 프로그램 표현을 도입합니다. RAPID는 각 프리미티브를 객체 수준의 효과를 달성하는 기하 및 물리 인식 로컬 궤적 최적화 프로그램으로 표현합니다.
이후 전략은 각 프리미티브의 목표 효과를 지정하는 관계 제약을 통해 이러한 프리미티브를 조합합니다.
전략 배포
배포 단계에서는 새로운 장면의 RGB-D 관측과 언어 지시가 주어지면, RAPID가 시뮬레이션에서 장면을 재구성하고, 재구성된 장면에 전략을 인스턴스화한 다음, 그 결과로 얻은 궤적을 로봇에서 실행합니다.
경량 의미적 바인딩은 장면 객체를 전략의 의미적 역할에 할당하며, 전략과 프리미티브 자체는 변경되지 않은 채 유지됩니다.
객체 중심 관계형 프로그램
RAPID는 프리미티브, 이를 과제 수준 전략으로 조합하는 과정, 새로운 장면에서의 전략 인스턴스화로 구성되는 객체 중심 관계형 프로그램 표현을 정의합니다.
새로운 장면에서의 전략 인스턴스화
이 과정 전체에서 전략 프로그램과 참조된 프리미티브는 고정된 상태로 유지됩니다.
전략 프로그램은 고정된 상태로 유지되는 반면, 프리미티브는 새로운 장면에 맞게 조정됩니다.
따라서 일반화는 객체 중심 관계형 프로그램 표현과 새로운 장면의 기하 및 물리적 특성에 맞춘 궤적 최적화의 적응에서 비롯됩니다.
상호작용 환경 재구성
실행 가능한 장면 변형
시연된 장면의 변형을 구성하기 위해 RAPID는 과제 비종속 변형 샘플러를 사용하여 객체의 외관, 크기, 자세와 질량, 마찰, 탄성 등의 물리 파라미터를 무작위화합니다.
하지만 무작위로 샘플링된 장면이 특정 프리미티브나 전략에 대해 실행 가능하지 않을 수 있습니다. 따라서 RAPID는 코딩 에이전트에 각 프리미티브 또는 전략에 대한 필터를 작성하도록 요청하며, 이 필터는 선언된 역할과 관계, 과제의 의미, 물리적 실행 가능성을 보존하는 변형만 허용합니다.
비파지 조작을 위한 실제 환경 실험
결과
객체 중심 관계형 프로그램 표현과 순응형 작업공간 제어기를 사용하면, 시뮬레이션에서 최적화된 접촉이 많은 비파지 행동을 실제 로봇으로 직접 전이하여 효과적으로 실행할 수 있습니다.
반면 CaP-Agent0는 절차적 프로그램을 사용해 신뢰할 수 있는 궤적을 생성하는 데 어려움을 겪습니다.
더욱이 비전-언어 모델의 사전 지식을 활용해 질량, 마찰, 반발계수와 같은 물리 파라미터를 추정하고, SAM 3D의 강력한 3D 재구성 능력을 함께 활용하면 실제-시뮬레이션 및 시뮬레이션-실제 간극을 관리 가능한 수준으로 유지하는 데 도움이 됩니다.
결론
RAPID는 단일 시각적 인간 시연과 언어 설명으로부터 로봇 조작을 위한 에이전트형 코딩 루프를 완성하는 프레임워크입니다.
과제 명세, 조작 프리미티브, 상호작용형 검증 환경을 자동으로 도출함으로써, RAPID는 코딩 에이전트가 재사용 가능한 조작 전략을 구성하고 실행하며 반복적으로 개선할 수 있게 합니다.
RAPID의 객체 중심 관계형 프로그램 표현은 조작 프리미티브를 궤적 최적화 프로그램으로 표현하고 관계 제약을 통해 조합하여 새로운 장면으로의 일반화를 가능하게 합니다.
8개의 접촉이 많은 비파지 조작 과제에 대한 실험은 객체와 장면의 변형 전반에서 강력한 일반화를 입증하며, LIBERO-Pro와 실제 로봇 시스템에서 수행한 평가는 RAPID의 더 폭넓은 적용 가능성과 실용적 배포를 뒷받침합니다.
향후 연구에서 RAPID는 정교한 손을 사용하는 조작을 위한 강화학습 등 프리미티브 학습을 위한 다른 도구를 통합할 예정입니다. 또한 RAPID는 변형 가능한 객체를 위한 시뮬레이션 엔진을 포함하여 코딩 에이전트, 로봇 파운데이션 모델, 시뮬레이션 엔진의 지속적인 발전을 자동으로 활용하고 규모를 확장할 것입니다.
자주 묻는 질문
RAPID란 무엇인가요? RAPID는 코딩 에이전트를 사용하여 사람의 시각적 시연과 언어 설명으로부터 재사용 가능한 전략을 구성하고 실행하며 개선하는 로봇 조작 프레임워크입니다.
RAPID는 조작 전략을 새로운 장면에 어떻게 일반화하나요? 객체 중심 관계형 프로그램, 경량 의미적 바인딩, 새로운 장면의 기하와 물리적 특성에 맞춘 궤적 최적화를 사용합니다.
RAPID는 어떤 물리 파라미터를 추정할 수 있나요? RAPID는 비전-언어 모델의 사전 지식을 사용하여 질량, 마찰, 반발계수와 같은 파라미터를 추정할 수 있습니다.
몇 개의 조작 과제를 평가했나요? 실험에서는 8개의 접촉이 많은 비파지 조작 과제를 평가했으며, LIBERO-Pro와 실제 로봇 시스템에서도 테스트를 진행했습니다.