현재 비디오 월드 모델은 기하 구조를 전혀 포착하지 못합니다. RGB 데이터만으로 학습되며, 학습 손실은 픽셀 시퀀스에 내재된 3D 모호성을 해소할 신호를 제공하지 않습니다. 그 결과, 기하학적으로 내부 일관성이 없는 예측 롤아웃도 시각적으로는 그럴듯하게 생성될 수 있습니다. 같은 장면을 여러 시점에서 바라볼 때 예측 깊이가 서로 맞지 않고, 가림과 접촉에 관한 기하학적 추론이 어려우며, 롤아웃이 진행될수록 물체의 형태와 정체성이 흐려집니다. 롤아웃을 읽어 활용하는 후속 작업에서는 이러한 비일관성이 가장 큰 제약입니다.
기여
본 연구는 알려진 URDF가 있는 모든 멀티뷰 스테레오 원격조작 데이터에서 미터법 깊이와 정확한 멀티뷰 외부 파라미터를 복원하는 보정 파이프라인을 제안합니다. 이 파이프라인은 학습 기반 스테레오 깊이 추정과 공동 팩터 그래프 최적화를 결합합니다. 동일한 실물 로봇으로 수집한 모든 에피소드를 함께 활용해 관절 오프셋과 핸드-아이 보정을 포함한 공유 기구학 파라미터와 장면별 외부 파라미터를 복원합니다. 이를 DROID에 적용해 70,000개가 넘는 에피소드에 대해 조밀한 미터법 깊이와 재보정된 멀티뷰 외부 파라미터를 제공하는 보정된 3D 코퍼스 DROID-3D를 구축했습니다.
또한 본 연구는 Stable Video Diffusion 기반 월드 모델인 DepthWorld를 제안합니다. 이 모델은 공간 잠재 타일링을 통해 멀티뷰 RGB와 깊이를 공동으로 예측하며, 사전 학습된 VAE는 변경하지 않습니다.
동일한 학습 예산에서 깊이 감독은 RGB 예측 성능도 향상시킵니다. DepthWorld는 아키텍처와 데이터가 동일한 RGB 전용 기준 모델보다 [보고된 PSNR 향상값(데시벨)] 높은 성능을 보입니다.
로봇 조작을 위한 대규모 3D 데이터셋 구축
최근 학습 기반 기하 비전 모델의 발전은 조밀한 미터법 깊이와 보정된 카메라 포즈를 제공하는 대규모 데이터셋에 크게 의존합니다. 로봇 조작 분야에는 이에 필적하는 규모의 데이터가 부족합니다. DROID와 같은 대규모 원격조작 데이터셋은 시각적 다양성과 체화된 동역학 데이터를 제공하지만, 원시 기하 어노테이션은 기하 사전 학습에 필요한 감독 품질에 미치지 못합니다.
제안하는 접근법은 알려진 기구학 모델(URDF)이 있는 멀티뷰 스테레오 원격조작 데이터셋을 입력으로 받아 로봇 좌표계에서 보정된 RGB-D 코퍼스를 생성합니다. 이 접근법은 두 단계로 해당 분야의 시각 및 보정 문제를 해결합니다.
1단계: 초기 멀티뷰 보정
1단계에서는 장면마다 독립적으로 보정된 카메라를 내부적으로 일관된 리그로 변환하고, 이를 로봇 좌표계에 대략적으로 배치합니다. 2단계에서 로봇의 URDF를 각 뷰에 렌더링해 실제 이미지와 비교할 수 있을 만큼 정확한 보정입니다.
3D 일관성 월드 모델 구축
DepthWorld는 예측 깊이와 RGB가 서로 독립적인 그럴듯한 프레임이 아니라, 기하학적으로 일관된 하나의 3D 세계를 구성하는 비디오 롤아웃을 생성하는 것을 목표로 합니다. DROID-3D의 조밀한 미터법 깊이와 보정된 외부 파라미터를 직접적인 학습 신호로 사용합니다.
최첨단 비디오 월드 모델에 기하학적 예측을 통합할 때는 두 가지 주요 난관이 있습니다. 첫째, 채널 확장이나 이중 분기 네트워크 등을 통해 Stable Video Diffusion(SVD) 같은 사전 학습 백본을 수정하면 모델을 유용하게 만드는 강력한 외관 및 움직임 사전 정보가 손상됩니다. 둘째, 각 뷰에서 깊이를 독립적으로 감독하는 방식은 서로 다른 카메라 간의 3D 일관성을 직접적으로 장려하지 않습니다.
DepthWorld는 두 가지 방식으로 이러한 문제를 해결합니다. U-Net 아키텍처를 변경하는 대신, 변분 오토인코더(VAE)가 깊이를 이미지로 인코딩하는 기능을 활용하는 공간 잠재 타일링을 사용해 RGB와 깊이를 더 넓은 잠재 그리드에 나란히 배치합니다. 뷰 간 일관성을 높이기 위해 경량 포인트 맵 헤드를 통한 로봇 좌표계 보조 감독도 적용합니다. 이 헤드는 예측값을 로봇의 물리적 베이스 좌표계로 투영하고 통합된 3D 포인트 맵과 비교해 감독합니다.
공간 타일링을 통한 RGB-깊이 공동 예측
Marigold는 이미지 확산 모델의 VAE가 깊이 맵을 충실하게 인코딩하고 디코딩한다는 점을 보였습니다. 이를 바탕으로 DepthWorld는 깊이를 RGB와 별도의 이미지로 인코딩하고, 잠재 공간에서 두 이미지를 타일링합니다. 두 모달리티는 변경되지 않은 SVD VAE로 각각 인코딩된 뒤 나란히 배치되므로, U-Net은 두 모달리티를 모두 포함하는 더 넓은 잠재 그리드를 처리합니다. 네트워크에서 변경되는 부분은 더 넓은 그리드를 지원하도록 공간 위치 임베딩을 확장하는 것뿐입니다.
로봇 좌표계 포인트 맵 감독
뷰별 깊이 디노이징은 각 예측 깊이 맵을 해당 타깃과 독립적으로 비교해 학습하며, 같은 장면을 서로 다른 카메라 시점에서 촬영했을 때 예측 깊이가 서로 맞지 않아도 명시적인 페널티를 부과하지 않습니다. DepthWorld는 예측값을 로봇 베이스 좌표계로 옮기고 그 좌표계에서 손실을 계산해 뷰 간 일관성을 명시적으로 반영합니다.
결론 및 감사의 말
본 연구는 유럽연합의 Horizon Europe 프로젝트 AGIMUS (No. 101070165), euROBIN (No. 101070596), ERC FRONTIER (No. 101097822), ELIAS (No. 101120237), ELLIOT (No. 101214398); ČVUT Starting grant “DREAM-ACT” (Project ID CVUT-StG-26-089); CTU Future Fund (Project ID CVUT-BrF-26-22825M)의 지원을 받았습니다.
또한 유럽연합 Horizon Europe 프로그램의 보조금 협약 No. 10113667 (CLARA Project) 지원을 받았으며, 유럽연합의 재정 지원으로 운영되는 Jan Amos Komenský 운영 프로그램(OP JAK)의 프로젝트 “Center for Artificial Intelligence and Quantum Computing in System Brain Research,” reg. no. CZ.02.01.01/00/23_029/0008437의 공동 지원을 받았습니다. 연산 자원과 인프라는 체코 공화국 교육·청소년·체육부가 e-INFRA CZ (ID:90254)를 통해 지원했습니다.
뷰별 미터법 깊이
각 DROID 카메라, 즉 테이블에 장착된 외부 ZED 2 카메라 2대와 손목에 장착된 ZED Mini는 알려진 베이스라인을 가진 보정된 스테레오 카메라 쌍입니다. 따라서 미터법 깊이 추정은 픽셀별 시차 예측으로 귀결됩니다. 픽셀 위치와 예측된 시차가 주어지면 직접 삼각측량을 통해 미터법 깊이를 구할 수 있습니다.
기준 모델과 비교한 DROID-3D 보정의 정성적 결과
추가 정성적 비교에서는 제안 방법과 Point World 기반 기준 모델로 얻은 포즈를 보여줍니다.
깊이 전처리의 근거
원시 깊이 맵은 Stable Video Diffusion(SVD) VAE가 사전 학습된 데이터 분포 안에 깊이 값을 유지하도록 설계된 4단계 파이프라인을 통해 VAE가 인코딩할 수 있는 그레이스케일 이미지로 변환됩니다.
- 깊이를 이중선형 보간 대신 역투영과 z-buffer 최소 풀링을 사용해 작업 해상도로 다운샘플링합니다. 이 방식은 전경 기하를 보존하고 물체 경계의 ‘날아다니는 픽셀’ 아티팩트를 방지합니다.
- 깊이 값을 카메라별 분포의 95th percentile로 클리핑합니다. 외부 카메라와 손목 카메라의 지정된 클리핑 거리: 외부 및 손목 카메라의 지정된 클리핑 거리. 이를 통해 조작과 관련된 정보를 보존하면서 VAE 입력의 범위를 제한합니다.
- 로그 변환으로 동적 범위를 압축해 조작 정밀도가 특히 중요한 근거리 물체에 더 많은 표현 용량을 할당합니다.
- 값을 VAE의 예상 입력 범위로 정규화하고, 단일 채널을 3개 채널로 복제합니다.
보정 기준 모델 수정
PointWorld를 바탕으로 한 장면별 정제 기준 모델과 공동 팩터 그래프 최적화를 공정하게 평가하기 위해 기준 모델의 깊이 소스를 수정했습니다. 원래 PointWorld 파이프라인에서 사용한 FoundationStereo 대신, 비교에는 제안된 전역 매칭 깊이를 사용했습니다. 이를 통해 깊이 예측기의 차이가 아니라 최적화 구조, 즉 장면별 최적화와 로봇 정보를 함께 활용하는 공동 그래프의 차이만 성능에 반영되도록 했습니다.
기하 보정 지표
DROID에는 정답 외부 파라미터가 없으므로 보정 품질 평가에 네 가지 기하학적 대리 지표를 사용합니다.
- Ext-Ext (EE) 재투영 오차: 에피폴라 제약과 Kabsch 기반 3D 정렬을 적용해 MAGSAC으로 추출한 골드 인라이어 집합에서 계산한 두 외부 카메라 간 중앙값 픽셀 재투영 오차입니다.
- Wrist-Ext (WE) 재투영 오차: 움직이는 손목 카메라와 고정된 외부 카메라 간에 측정한 유사한 중앙값 픽셀 재투영 오차입니다.
- Robot Depth Error (RD): 최적화된 외부 파라미터와 관절 각도를 사용해 로봇 URDF를 렌더링하여 얻은 깊이와 예측 깊이 맵 간의 중앙 절대 오차(밀리미터)입니다.
- Mask IoU: 실제 이미지에서 RoboEngine이 생성한 정답 로봇 세그멘테이션 마스크와 URDF 렌더링 로봇 실루엣 마스크 간의 교집합 대비 합집합입니다.
TesserAct와의 비교
TesserAct는 CogVideoX-5b-I2V를 기반으로 한 텍스트 조건부 단일 뷰 RGB–깊이–법선(RGBDN) 비디오 모델이며, 5B 파라미터 이미지-투-비디오 확산 트랜스포머를 사용합니다. 액션 조건이 없고 단일 카메라만 사용하며 다른 데이터로 학습되었기 때문에 직접 비교할 수 없습니다. 이에 본 연구에서는 설정에 맞게 최소한으로 조정하고 DepthWorld와 동일한 에피소드 및 학습 스텝 예산으로 재학습했습니다.
자주 묻는 질문
DepthWorld란 무엇인가요? DepthWorld는 공간 잠재 타일링을 사용해 멀티뷰 RGB와 깊이를 공동 예측하는 Stable Video Diffusion 기반 월드 모델입니다.
DROID-3D란 무엇인가요? DROID-3D는 DROID에서 구축한 보정된 3D 코퍼스로, 70,000개가 넘는 에피소드에 대해 조밀한 미터법 깊이와 재보정된 멀티뷰 외부 파라미터를 제공합니다.
DepthWorld는 카메라 시점 간 일관성을 어떻게 높이나요? 로봇 좌표계 보조 감독을 사용해 예측값을 로봇 베이스 좌표계로 옮기고 통합된 3D 포인트 맵과 비교합니다.
모델에 사용할 미터법 깊이 맵은 어떻게 준비하나요? 역투영과 z-buffer 최소 풀링을 사용해 다운샘플링하고, 클리핑 및 로그 변환한 뒤 VAE의 예상 입력 범위로 정규화하고 3개 채널로 복제합니다.