한 연구팀이 변형체 조작을 위한 세계 최대 규모의 실제 촉각-시각 데이터셋인 Deform360을 공개했습니다. 이 데이터셋은 밧줄, 천, 봉제인형 등 198가지 일상 물체를 41대의 동기화된 카메라와 촉각 센서가 장착된 두 개의 그리퍼로 1,980회의 상호작용 시퀀스를 촬영하여 총 2,330만 프레임을 기록했습니다. 이 방대한 자원은 로봇 연구자들에게 부드럽고 유연한 물체의 조작 시 거동을 예측하는 월드 모델을 훈련시키는 데 필요한 고정밀 실제 데이터를 제공합니다.
목차
연구진이 구축한 것
Deform360은 198가지 변형 가능한 물체와의 1,980회의 물리적 상호작용을 통제된 다중 카메라 스튜디오에서 기록한 데이터 모음입니다. 각 상호작용 시퀀스는 촉각 압력 센서가 장착된 두 손가락 평행 조 그리퍼(UMI 그리퍼)가 눌기, 쥐기, 비틀기, 당기기, 끌기 등 미리 정의된 동작을 수행하는 동안 41대의 보정된 카메라가 모든 각도에서 장면을 촬영합니다.
물체 분류는 변형성에 따라 세 가지 주요 범주로 나뉩니다.
- 1차원 변형체 (28개): 밧줄, 케이블, 전선, 벨트, 체인 (강성 다양)
- 2차원 변형체 (98개): 직물, 천, 의류, 가방, 종이류, 얇은 쉘
- 3차원 체적 변형체 (72개): 봉제인형, 스펀지, 폼 물체, 쥐어짜는 가정용품
각 에피소드에 대해 연구진은 마커 없는 다중 시점 복원 파이프라인을 통해 고품질의 3D 복원 데이터와 입자 추적 데이터를 제공합니다. 촉각 데이터는 그리퍼 핑거의 법선 압력을 측정하여 각 조작 중 접촉력을 직접 읽어냅니다. 이렇게 밀집된 센서 융합은 물체가 실제 힘에 의해 어떻게 변형되는지 시각적 정보뿐만 아니라 물리적으로도 연구할 수 있는 독특한 자원을 제공합니다.
주요 결과
Deform360은 기존의 실제 변형체 데이터셋에 비해 규모가 한 단계 증가한 것입니다. 215.7시간 분량의 2,330만 프레임으로, 기존 데이터셋(일반적으로 20개 미만의 물체를 합성 또는 단일 시점으로 촬영)을 크게 능가합니다.
연구진은 이 데이터셋에서 두 가지 월드 모델을 체계적으로 평가했습니다.
- 비디오 월드 모델 (Cosmos Predict 2.5, 확산 트랜스포머): Deform360에서 파인튜닝, 7차원 액션 조건부 크로스-어텐션 적용.
- 3D 입자 동역학 모델: 입자 기반 물체 표현에서 물리 법칙을 직접 학습.
주요 발견:
| 모델 유형 | 강점 | 약점 |
|---|---|---|
| 비디오 월드 모델 (Cosmos) | 시각적 외관과 질감 변화 포착; 대규모 사전 학습 활용 | 분포 외 환경에 민감; 계획을 위한 보상 설계 어려움 |
| 3D 입자 동역학 | 정확한 기하학적 예측; 샴페르 거리 등의 기하 비용 함수에 직접 사용 가능 | 기하 상태에 한정; 시각적 외관 부족; 밀집 트랙 데이터 필요 |
평가 결과, 비디오 모델은 시각적 참신성에 뛰어나지만 정밀한 기하학에는 어려움을 겪고, 입자 모델은 더 나은 구조적 사전 지식을 제공하지만 시각적 풍부함이 부족하다는 근본적인 트레이드오프가 드러났습니다. 특히 3D 입자 모델은 변형체에 대한 실제 모델 예측 제어(MPC)에 성공적으로 사용된 반면, 비디오 모델은 시각적 도메인 변화에 대처하기 위해 추가 학습이 필요했습니다.
작동 방식
Deform360 캡처 시스템은 조작 작업 공간 주변에 반구형 돔 형태로 배열된 41대의 산업용 카메라로 구성됩니다. 모든 카메라는 보정 및 동기화되어 초당 30프레임으로 녹화합니다. UMI 그리퍼는 핑거에 두 개의 촉각 센서(GelSight 유사)를 장착하여 각 핑거팁에서 16×16 압력 맵을 제공합니다.
물체 조작 파이프라인: 1. 각 물체는 무광 검정 테이블 위에 고정된 시작 자세로 배치됩니다. 2. 그리퍼는 약 30초 동안 미리 정의된 동작(누르기, 끌기, 비틀기, 집기, 밀기)을 5~10회 수행합니다. 3. 41대의 카메라 영상, 촉각 데이터, 로봇 관절 각도가 동기적으로 기록됩니다. 4. 다중 시점 3D 복원 파이프라인(NeRF 및 입자 추적 기반)이 각 프레임에 대해 밀집 점군과 입자 궤적을 생성합니다.
월드 모델 학습: - 비디오 모델: Cosmos Predict 2.5는 확산 트랜스포머(DiT)로, 과거 프레임과 미래 로봇 동작을 조건으로 미래 프레임을 생성합니다. 7차원 동작 벡터(6D 손목 자세 + 그리퍼 개방도)는 크로스-어텐션을 통해 DiT 블록에 주입됩니다. Deform360에서의 추가 학습은 특정 시각 도메인과 동작 공간에 모델을 적응시킵니다. - 입자 모델: 각 물체는 3차원 입자 집합(일반적으로 1,000~10,000개)으로 표현됩니다. 그래프 신경망 또는 신경 ODE가 현재 상태와 가해진 힘에 따라 입자 움직임을 예측합니다. 학습은 복원 파이프라인에서 얻은 실제 입자 궤적을 사용합니다.
로봇 공학에서의 의의
창고, 공장, 가정에서 로봇은 매일 세탁물 개기, 농산물 포장, 케이블 조립, 부드러운 포장재 취급 등 변형체를 다뤄야 합니다. 그러나 대부분의 로봇 시스템은 변형 재료에 실패하는 강체 가정에 의존합니다. Deform360은 밧줄, 천, 봉제인형의 거동을 실제로 예측할 수 있는 월드 모델을 훈련하는 데 필요한 고정밀 다중 모드 데이터를 제공함으로써 중요한 격차를 해소합니다.
중고 협동로봇이나 창고 로봇을 구매하는 기업에게 변형체 조작 기술의 발전은 빈 피킹, 키팅, 분류 작업에서의 실패 감소를 의미합니다. 휴머노이드 로봇 분야에서는 부드러운 물체를 조작하는 능력이 착용 보조나 물체 전달과 같은 작업에 필수적입니다. Robot Overflow에서 휴머노이드 로봇 검색 필터는 이러한 발전의 혜택을 받을 수 있는 수십 개의 플랫폼을 보여줍니다.
실제 MPC 데모(3D 입자 모델이 밧줄을 목표 형상으로 변형하기 위해 그리퍼 동작을 계획)는 이러한 월드 모델이 시뮬레이션뿐만 아니라 실제 하드웨어에서도 배포될 수 있음을 입증합니다.
한계와 과제
심각한 자기 폐색은 여전히 문제입니다. 물체가 대부분의 카메라에서 가려질 때(예: 그리퍼 아래에 감긴 밧줄) 추적 품질이 저하됩니다. 촉각 센서는 법선 압력만 측정하므로 미세 미끄러짐과 접선 힘은 감지되지 않으며, 미끄러짐 방지 정규화는 접촉점 근처의 입자를 과도하게 제한할 수 있습니다. 데이터셋은 두 손가락 그리퍼 상호작용에 한정되므로 흡착이나 다중 손가락 파지가 필요한 동작은 포함되지 않습니다.
또한 비디오 월드 모델은 배포 장애물에 직면합니다. 캡처 스튜디오와 실제 로봇 환경 간의 도메인 변화는 광범위한 추가 학습을 필요로 하며, 원시 비디오 프레임에 대한 보상 함수 설계는 기하 상태 표현보다 훨씬 어렵습니다.
자주 묻는 질문
Deform360에 포함된 물체 유형은 무엇인가요? 데이터셋은 198개 물체를 세 가지 범주로 포함합니다: 1차원 변형체(밧줄, 케이블, 전선), 2차원 변형체(직물, 천, 가방), 3차원 체적 변형체(봉제인형, 폼 물체, 쥐어짜는 물건).
Deform360 데이터셋의 크기는 얼마인가요? 1,980개의 상호작용 시퀀스, 총 2,330만 프레임, 215.7시간의 동기화된 다중 시점 비디오 및 촉각 데이터로 구성되며, 기존 실제 변형체 데이터셋보다 한 단계 큰 규모입니다.
데이터 캡처에 사용된 센서는 무엇인가요? 41대의 보정 및 동기화된 카메라가 모든 각도에서 시각 데이터를 캡처하고, 로봇 그리퍼의 두 촉각 센서가 각각 16×16 해상도로 법선 압력을 측정합니다.
이 데이터셋이 해결하는 주요 과제는 무엇인가요? Deform360은 변형체 모델링을 위한 고품질 실제 데이터의 부족 문제를 해결하여 2D 비디오 월드 모델과 3D 입자 동역학 모델의 체계적 평가를 가능하게 하고, 향후 연구를 위한 벤치마크를 제공합니다.
결론
Deform360은 전례 없는 규모, 다중 시점 시각 범위, 촉각 감지를 결합하여 변형체 데이터셋의 새로운 기준을 세웠습니다. 함께 제공된 벤치마크는 비디오 기반과 입자 기반 월드 모델 간의 명확한 트레이드오프를 보여주며, 로봇 공학 커뮤니티에 작업 요구 사항에 따라 접근 방식을 선택하는 구체적인 지침을 제공합니다. 이 자원은 우리 주변의 부드럽고 유연한 물체를 안정적으로 다룰 수 있는 로봇 개발을 가속화할 것입니다.