연구진이 완전 오픈소스 로봇 행동 모방 스택 ABC를 공개했습니다. 여기에는 195개 조작 작업에 걸친 130,000개 에피소드로 구성된 최대 규모의 원격조작 데이터셋 ABC-130K가 포함됩니다. 이 도구킷은 재현 가능한 모방 학습 연구의 진입 장벽을 대폭 낮추며, 판지 상자 접기나 지갑에서 신용카드 꺼내기와 같은 정교한 실제 기술을 구현합니다.
목차
연구진이 만든 것
ABC(액션 기반 모방) 스택은 행동 모방을 통해 로봇 조작 정책을 훈련하기 위한 완전한 오픈소스 프레임워크입니다. 핵심은 ABC-130K로, 195개 다양한 작업에 걸쳐 3,500시간 이상의 인간 시연 데이터를 포함하는 대규모 원격조작 데이터셋입니다. 정밀한 집어 옮기기부터 판지 상자 접기, 빡빡한 지갑에서 신용카드 빼내기와 같은 복잡한 다단계 작업까지 포함합니다. 이는 공개된 원격조작 데이터셋 중 가장 큰 규모입니다.
데이터셋 외에도 연구팀은 전체 파이프라인을 오픈소스로 공개했습니다. 저렴하고 접근성 높은 원격조작 하드웨어, 널리 사용되는 프레임워크(확산 트랜스포머, 비전-언어-액션 모델) 기반 훈련 인프라, 실제 환경을 반영한 시뮬레이션 환경이 포함됩니다. 또한 400시간의 시뮬레이션 원격조작 데이터와, 시뮬레이션 결과와 실제 결과를 연관시키는 공동 훈련 레시피도 공개되어, 연구자들이 값비싼 물리적 실험 전에 모델 설계를 저렴하게 반복할 수 있습니다.
주요 결과
훈련된 정책은 실제 평가에서 까다로운 정밀 조작 작업을 성공적으로 수행했습니다. 상자 접기(두 손의 협응과 정확한 접힘 각도가 필요한 작업)는 ABC-130K로 훈련한 후 안정적으로 실행되었습니다. 마찬가지로, 시스템은 빡빡한 지갑에서 신용카드를 꺼내는 작업도 학습했는데, 이는 섬세한 힘 제어와 정밀 시각적 서보잉이 필요합니다.
이 프로젝트의 가장 중요한 기여는 실증적입니다. 확산 트랜스포머(DiT)와 비전-언어-액션(VLA) 아키텍처를 동일한 훈련 조건에서 비교함으로써, 연구진은 행동 모방에서 아키텍처 선택에 대한 명확한 지침을 수립했습니다. 실제 및 시뮬레이션 데이터를 혼합 사용하는 공동 훈련 레시피는 시뮬레이션 성능이 실제 성공을 강하게 예측하는 정책을 생성하여, 하드웨어를 계속 돌릴 필요 없이 빠른 절제 연구가 가능합니다. 초록에 정확한 성공률은 명시되지 않았지만, 결과는 ABC 스택이 재현 가능한 모방 학습 연구를 위한 실행 가능한 플랫폼임을 입증합니다.
작동 방식
ABC는 표준 행동 모방을 사용합니다. 정책은 인간 시연을 모방하여 관찰 이미지와 로봇 상태를 액션 시퀀스로 매핑하는 법을 학습합니다. ABC-130K 데이터셋은 모든 연구실이 복제할 수 있는 오픈소스 저비용 하드웨어 장비를 사용한 원격조작을 통해 수집되었습니다. 130,000개 에피소드 각각은 다중 뷰 RGB 이미지, 관절 위치, 엔드이펙터 힘을 포함합니다.
훈련 파이프라인은 두 가지 현대 아키텍처군을 지원합니다: - 확산 트랜스포머(DiT): 액션 생성을 시각 및 고유수용성 입력에 조건화된 액션 토큰에 대한 잡음 제거 확산 과정으로 취급합니다. - 비전-언어-액션(VLA) 모델: 사전 훈련된 언어-비전 백본(예: CLIP)을 활용하여 액션 토큰을 직접 생성합니다.
핵심 혁신은 공동 훈련 레시피입니다. 연구팀은 실제 원격조작 데이터와 사실적인 시뮬레이션 환경에서 수집된 400시간의 시뮬레이션 원격조작 데이터를 결합하여 정책을 훈련했습니다. 이 혼합은 시뮬레이션 정확도가 실제 성능과 강하게 상관관계를 보이는 모델을 생성했습니다. 이는 시뮬레이션 평가가 물리적 로봇 구동보다 1,000배 저렴하고 빠르기 때문에 중요한 속성입니다. 연구자들은 이제 시뮬레이션에서 수십 가지 아키텍처와 하이퍼파라미터 선택을 테스트한 후 가장 유망한 후보만 실제 로봇에 배포할 수 있습니다.
로봇공학에 미치는 의의
ABC는 모방 학습 연구의 가장 큰 두 장벽인 데이터 부족과 인프라 비용을 제거합니다. 130,000개 에피소드의 완전 공개 데이터셋으로, 값비싼 로봇 군단이 없는 연구실도 최신 조작 정책 훈련을 시작할 수 있습니다. 오픈 하드웨어 설계는 $5,000 미만으로 장비를 구축할 수 있어 원격조작 데이터 수집에 대한 접근성을 민주화합니다.
상업 로봇공학의 경우, 이 스택은 연구 프로토타입에서 배포 가능한 제품으로의 경로를 가속화합니다. 공동 훈련 레시피는 중고 협동로봇을 판매하는 회사와 같은 기업이 생산 장비를 위험에 빠뜨리기 전에 시뮬레이션에서 정책 개선을 테스트할 수 있게 합니다. 아키텍처 통찰(DiT vs. VLA)은 엔지니어가 값비싼 시행착오 없이 작업에 적합한 백본을 선택하는 데 도움을 줍니다. 400시간의 시뮬레이션 데이터는 고충실도 시뮬레이터가 제한된 실제 시연을 보완할 수 있음을 보여줍니다. 이는 끝없는 인간 원격조작 없이 새 작업으로 확장하는 데 중요합니다.
창고 물류부터 의료 로봇공학까지 다양한 산업에서 ABC를 사용하여 정밀 조작을 위한 로봇을 훈련할 수 있습니다. 오픈소스 특성 덕분에 커뮤니티가 스택을 집합적으로 개선하며, 이는 ImageNet과 PyTorch가 컴퓨터 비전을 가속화한 방식과 유사합니다.
한계와 미해결 과제
ABC-130K는 방대하지만 여전히 195개 작업만 다룹니다. 이는 실제 세계의 조작 과제 중 일부에 불과합니다. 무거운 물체, 판지 외의 변형 재료, 동적 장애물이 있는 환경 등은 데이터셋에 포함되지 않았습니다. 또한 데이터셋은 단일 로봇 플랫폼을 사용하므로, 다른 팔 운동학에 대한 일반화는 입증되지 않았습니다.
공동 훈련 레시피는 시뮬레이션과 현실 간의 상관관계를 보여주지만 완벽한 전이를 의미하지는 않습니다. 일부 시뮬레이션 개선이 물리적 로봇에 반영되지 않을 수 있습니다. 행동 모방 자체에는 근본적인 한계가 있습니다. 훈련 데이터에 보이지 않는 상태에서 회복할 수 없으며 고품질 시연이 필요합니다. 이 논문은 분포 변화를 처리하기 위한 강화 학습이나 사람-인-루프 보정을 탐구하지 않습니다. 마지막으로, 대규모 DiT 또는 VLA 모델 훈련을 위한 계산 비용은 여전히 높아, 자금이 부족한 연구실의 접근성을 제한할 수 있습니다.
자주 묻는 질문
ABC-130K이란 무엇인가요? ABC-130K는 195개 조작 작업에 걸친 130,000개 에피소드, 총 3,500시간 이상의 인간 시연 데이터를 포함하는 원격조작 데이터셋으로, 이 종류 중 가장 큰 오픈소스 데이터셋입니다.
ABC 정책을 사용할 수 있는 로봇은 무엇인가요? 스택은 오픈 하드웨어 설계에 명시된 특정 저비용 로봇 팔에 맞게 설계되었습니다. 다른 팔로 미세 조정을 통해 전이가 가능할 수 있지만, 이는 테스트되지 않았습니다.
ABC를 사용하려면 고가의 하드웨어가 필요한가요? 아닙니다. 원격조작 장비는 $5,000 미만이며, 시뮬레이션 환경은 표준 GPU 워크스테이션에서 실행됩니다.
ABC 정책은 어떤 작업을 수행할 수 있나요? 상자 접기, 신용카드 꺼내기와 같은 정밀 조작 작업이 입증되었습니다. 195개 작업에는 집어 옮기기, 조립, 정밀 도구 사용이 포함됩니다.
결론
ABC 스택은 데이터셋부터 하드웨어, 훈련 코드까지 행동 모방을 위한 완전한 오픈 생태계를 제공합니다. 가장 큰 원격조작 데이터셋을 공개하고 시뮬레이션-현실 상관관계 레시피를 제공함으로써, 연구진은 모방 학습 확장을 위한 강력한 기반을 로봇공학 커뮤니티에 제공했습니다. 이는 민주화되고 재현 가능한 로봇 학습을 향한 중요한 발걸음입니다.