정밀 접촉 집약형 산업용 로봇 기술을 위한 PRISM 데이터셋 (2026)

로봇 조작을 위한 대규모 데이터셋

최근 몇 년 사이 로봇 학습 분야는 소규모·특정 작업 중심의 데이터셋에서 벗어나, 다양한 로봇 형태를 아우르는 대규모 데이터로 중심축을 크게 옮겼다. 더 뛰어난 일반화 성능을 확보하고 범용 로봇 파운데이션 모델을 학습시키기 위해, 연구자들은 여러 로봇 플랫폼의 데이터를 통합한 주요 데이터셋을 잇달아 선보였다.

예를 들어 Open X-Embodiment는 수십만 개에 달하는 시연 궤적을 통합해, 방대한 데이터 규모를 바탕으로 다양한 환경과 작업을 포괄하고자 한다. RT-1과 BridgeData V2 등의 연구는 대규모 데이터셋으로 학습한 모델이 보지 못한 지시와 상황에도 적응하는 인상적인 제로샷 전이 능력을 보일 수 있음을 입증했다. 이러한 데이터셋의 성과는 주로 규모에서 비롯된다. 방대한 데이터는 모델이 일반적인 시각-운동 사전 지식을 학습하도록 하며, 그 결과 비정형적인 실제 환경에서도 물체를 조작하고 옮기는 작업을 수행할 수 있게 한다.

산업용 조작을 위한 고정밀 데이터셋

최근 로봇 학습의 발전은 다양한 환경에서 수집한 대규모 데이터셋의 등장과 함께 가속화됐다. Open X-Embodiment, RT-1, BridgeData V2와 같은 기반 연구 프로젝트는 범용 로봇 제어를 가능하게 하기 위해 방대한 시연 데이터를 통합했다. 이러한 데이터셋은 대체로 가정이나 주방처럼 비정형적인 환경에 초점을 맞추며, 집기·놓기·물체 재배치와 같은 기본적인 단기 작업을 로봇이 수행하도록 한다.

단순한 기술의 한계를 넘어 장기 수행이 필요하고 접촉이 빈번한 조작 작업을 다루기 위해, 최근 연구는 장기 작업과 접촉 집약형 조작으로 범위를 넓혀 왔다. FurnitureBench는 장기 작업을 다루는 데 진전을 이뤘다. 그러나 가구 조립은 시간적 범위가 길더라도 일반적으로 부품 간 결합이 느슨해, 정밀 제조에서 요구되는 엄격한 공차에는 미치지 못한다.

고정밀 작업의 난제를 해결하기 위해 REASSEMBLE과 RH20T 같은 최근 벤치마크는 NIST Task Board와 같은 표준화된 산업 프로토콜을 도입했다. 이 연구들은 기어 맞물림이나 커넥터 삽입과 같은 작업에서 시각 정보만으로는 충분하지 않은 경우가 많으며, 고주파 힘-토크 센서와 고유수용감각 정보가 필요하다는 점을 강조한다. 이러한 모달리티를 추가하면 물리적 피드백은 향상되지만 하드웨어 의존성이 생기고 데이터 수집이 복잡해져, 데이터셋 규모가 제한되는 경우가 많다. 예를 들어 REASSEMBLE에는 약 4,000개의 시연이 포함되어 있다.

이 연구는 대규모 범용 데이터셋과 고정밀 산업용 조작 사이의 간극을 메운다. 충분한 데이터 규모와 다양한 하드웨어를 바탕으로 학습하면, 비전 기반 정책도 엄격한 공차의 조립에 필요한 접촉 동역학을 암묵적으로 익힐 수 있다. 이를 위해 이 데이터셋은 Franka, Realman, LEJU를 비롯한 여러 로봇 플랫폼에서 수집한 5,000개의 궤적으로 구성되며, 폭넓은 산업 작업 시나리오를 포괄한다. 또한 상호작용 품질을 엄밀하게 평가할 수 있도록 일부 데이터에는 촉각 센서를 장착해, 세밀한 테스트와 검증을 위한 고충실도 벤치마크로 활용할 수 있게 했다.

PRISM 데이터셋

Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing의 약자인 PRISM은 접촉 집약형 산업용 조작을 위한 데이터셋이다.

데이터 수집 및 처리

대부분의 기존 데이터셋이 하나의 원격조작 인터페이스에 의존하는 것과 달리, 이 데이터셋은 외골격 기반, 트래커 기반, VR 기반의 세 가지 상호 보완적인 원격조작 방식을 사용해 시연 데이터를 수집한다. 이러한 설계는 사람마다 다른 제어 방식과 상호작용 행동을 폭넓게 포괄할 뿐 아니라, 동일한 작업을 서로 다른 원격조작 방식으로 수집했을 때 데이터 품질이 어떻게 달라지는지 통제된 조건에서 비교할 수 있게 한다. 여기에는 동작의 매끄러움, 정밀도, 접촉 안정성, 실패율 등이 포함된다. 또한 이러한 차이가 이후 학습 성능에 어떻게 이어지는지도 분석할 수 있다.

데이터셋에는 하드웨어 구성, 다중모달 데이터의 동기화 및 보정 정보, 그리고 로봇·엔드 이펙터·수집 세션 전반에 걸쳐 일관되고 고충실도의 다중모달 기록을 보장하는 후처리 단계가 포함된다.

처리

데이터 수집이 끝나면 원시 로그를 정제된 타임스탬프, 보정된 센서 파라미터, 다중모달 학습에 적합한 메타데이터를 포함한 에피소드 파일로 변환한다. 센서마다 기본 작동 주기가 다르므로 모든 데이터 스트림의 원래 타임스탬프를 그대로 보존한다. 에피소드별 인덱스를 제공해 학습 중 최근접 이웃 매칭이나 보간 등의 방법으로 타임스탬프를 기준 삼아 모달리티를 정렬할 수 있다.

불완전한 에피소드는 제거하며, 작업 시작·종료 마커와 작업자 주석을 기준으로 작업 전후의 유휴 구간을 잘라낸다.

통합 에피소드 패키징

처리된 모든 데이터는 세 플랫폼이 공통으로 사용하는 스키마에 따라 직렬화된다. 스키마에는 다음 항목이 포함된다.

관절 각도와 토크, 엔드 이펙터 자세, 그리퍼 상태를 포함한 로봇 상태 및 동작
사용 가능한 경우 엔드 이펙터 렌치
다중 시점 RGB-D 관측
사용 가능한 경우 시각-촉각 이미지
보정 파라미터
타임스탬프
플랫폼 식별자
작업 식별자
결과 라벨
참가자가 제공한 평가 점수

이처럼 표준화된 구성은 다중모달 정렬의 일관성을 유지하면서 서로 다른 로봇, 엔드 이펙터, 원격조작 인터페이스를 아우르는 학습과 평가를 가능하게 한다.

실험 설정

플랫폼

실험은 데이터 수집에 사용된 로봇과 동일한 형태인 양팔 Realman 로봇에서 수행한다. 로봇에는 3자유도 허리가 장착되어 있으며, 각 팔에는 3D 프린팅한 평행 조 그리퍼가 부착되어 있다. 시각 관측은 Intel RealSense D515 RGB-D 카메라로 수집한다.

평가가 데이터셋에서 경험한 동일한 센싱 구성과 물리적 제약을 반영하도록, 작업 공간의 배치와 배경, 테이블 설정은 데이터 수집 환경과 동일하게 유지한다.