ETH 취리히 연구진이 개발한 VidMap은 SLAM의 시간적 연속성과 Structure-from-Motion(SfM)의 전역 최적화를 결합하여 일반 스마트폰 비디오로 고정밀 3D 모델을 생성하는 비디오 복원 프레임워크입니다. 순차적 추적과 루프 폐쇄 관측을 명시적으로 분리하고, 메트릭 깊이 사전 정보를 통합함으로써, VidMap은 기존 방법 대비 한 차원 높은 정확도를 달성합니다.
목차
연구진이 개발한 것
VidMap은 SLAM의 실시간 제약에서 벗어나 전체 비디오 시퀀스를 오프라인으로 처리하는 비인과적 복원 프레임워크입니다. 이 시스템은 스마트폰이나 AR 기기로 촬영한 캘리브레이션되지 않은 단안 비디오를 입력받아 정확한 카메라 궤적과 3D 포인트 클라우드를 출력합니다.
핵심 혁신은 카메라 움직임의 두 가지 근본적으로 다른 유형(연속 프레임 간의 부드러운 순차적 움직임과 이전 방문 위치로의 큰 도약(루프 폐쇄))을 처리하는 방식에 있습니다. 기존 SfM은 모든 이미지 쌍을 동등하게 취급하는 반면, SLAM은 시간적 연속성을 활용하지만 점진적 해에 고정되어 드리프트가 누적됩니다. VidMap은 순차적 추적의 시간적 신뢰성을 유지하면서 기하학을 조기에 고정하지 않고, 이 정보를 SfM에서 차용한 전역 최적화 프레임워크에 통합합니다.
이 시스템은 조밀 특징 매칭을 사용하여 수백 프레임에 걸쳐 서브픽셀 정밀도의 트랙을 추출하고, 학습된 단안 깊이 사전 정보를 활용하여 퇴화 설정(순수 회전, 전방 이동, 텍스처 없는 표면)을 정규화하며, 카메라 자세 추정 전반에 걸쳐 출처 의존적 강건 손실 함수를 사용하여 순차적 에지와 루프 폐쇄 에지를 분리합니다.
주요 결과
LaMAR 데이터셋(복잡한 움직임, 시각적 모호성, 텍스처 없는 표면을 포함한 까다로운 휴대폰 및 AR 기기 비디오)에서 VidMap은 기존 SfM 접근법(GLOMAP, COLMAP) 및 최첨단 SLAM 시스템(DPV-SLAM, MASt3R-SLAM) 대비 궤적 드리프트를 10분의 1 수준으로 줄였습니다.
VidMap의 정확도는 실제 카메라 캘리브레이션을 제공했을 때와 자동으로 추정했을 때 거의 동일하여, 캘리브레이션 추정 파이프라인(GeoCalib 사용)의 신뢰성이 매우 높음을 보여줍니다. 또한 단안 깊이 사전 정보를 사용하는 방법(ViPE, MegaSaM)보다 캘리브레이션 유무 모두에서 우수한 성능을 보였습니다.
절제 연구를 통해 조밀 순차 추적, 출처 의존적 손실 가중치, 깊이 정규화된 전역 위치 추정, 강건한 루프 폐쇄 등 모든 구성 요소가 전체 성능에 필수적임이 확인되었습니다. 단 하나의 요소라도 제거하면 성능이 크게 저하됩니다.
작동 원리
VidMap은 비디오를 세 가지 주요 단계로 처리합니다.
1. 순차적 특징 추적. 조밀 매처(예: RoMa)가 연속적인 키프레임 간의 점 대응을 서브픽셀 정밀도로 추출합니다. 시스템은 키프레임과 슬라이딩 윈도우 전파를 사용하여 이러한 대응점을 수백 프레임에 걸친 긴 트랙으로 연결합니다. 조밀 매칭은 전체 이미지 컨텍스트를 활용하므로 저텍스처 영역에서 희소 매처가 혼동하는 지역적 모호성을 해결합니다.
2. 루프 폐쇄 감지 및 매칭. 전역 이미지 디스크립터(MegaLoc)가 시간적으로 먼 뷰에서 후보 쌍을 검색합니다. 그런 다음 동일한 조밀 매처를 사용하여 기하학적으로 검증합니다. 중요한 점은, 최적화 전반에 걸쳐 출처 의존적 강건 손실을 사용하여 순차 에지와 루프 폐쇄 에지를 다르게 처리한다는 것입니다.
3. 깊이 사전 정보를 활용한 전역 매핑. GLOMAP 프레임워크를 기반으로, VidMap은 회전 평균화, 전역 위치 추정, 번들 조정을 통해 모든 카메라 자세를 동시에 추정합니다. 두 가지 새로운 메커니즘이 도입되었습니다: 이미지별 스케일 추정이 포함된 단안 깊이 사전 정보는 메트릭 스케일 복원을 가능하게 하고 퇴화를 정규화하며, 출처 의존적 손실은 신뢰할 수 없는 루프 폐쇄 에지가 안정적인 순차 기하학을 손상시키는 것을 방지합니다.
캘리브레이션되지 않은 비디오의 경우 초점 거리는 두 단계로 추정됩니다: 먼저 각 키프레임에 대해 GeoCalib를 사용하여 독립적으로 추정한 후, 공유 내부 파라미터 제약 조건으로 신뢰할 수 있는 프레임을 대상으로 공동 최적화합니다.
로보틱스에 미치는 영향
VidMap이 일반 비디오로 정확한 3D 모델을 생성할 수 있다는 사실은 로보틱스 및 자동화에 직접적인 영향을 미칩니다. 산업용 로봇은 LiDAR와 같은 고가의 센서 없이도 미지의 환경을 매핑해야 하는 경우가 많습니다. 중고 산업용 로봇에 흔한 단일 카메라를 장착한 로봇은 정찰 후 VidMap을 오프라인으로 실행하여 창고나 공장 바닥의 고정밀 지도를 구축할 수 있습니다.
반복적인 텍스처가 있는 넓은 복도를 탐색하는 창고 로봇의 경우, VidMap의 시각적 모호성 및 퇴화 전방 이동에 대한 강건성이 특히 유용합니다. 또한 캘리브레이션되지 않은 소비자용 카메라를 처리할 수 있으므로, 저가형 검사 드론이나 휴대용 스캐너에 공장 캘리브레이션 없이 배포할 수 있습니다.
매핑 외에도, VidMap의 시간적 인식 최적화는 실시간 속도를 위해 장기적 일관성을 희생하지 않는 더 나은 시각적 오도메트리 시스템에 영감을 줄 수 있습니다.
한계 및 향후 과제
VidMap은 아직 시각-관성 시스템의 정밀도에는 미치지 못하며, 신뢰할 수 있는 루프 폐쇄 없이는 장거리 드리프트가 여전히 문제입니다. 시스템은 학습된 사전 정보(단안 깊이, 캘리브레이션 추정)에 의존하므로, 분포 외 이미지나 비정상적인 카메라 광학계에서는 실패할 수 있습니다.
순수 전방 이동과 같은 기하학적 퇴화는 키프레임 선택 논리가 너무 적은 뷰를 선택하게 하여 전역 해를 과소 결정할 수 있습니다. 또한 비디오에 심각한 블러, 폐색, 또는 급격한 시점 변화가 있는 경우 추적이 완전히 끊어질 수 있으며, 전역 최적화는 누락된 대응점을 복구할 수 없습니다.
마지막으로, VidMap은 오프라인 배치 프로세스이므로, 시간적 인식 접근법을 온라인 또는 실시간 환경에 적용하는 것은 여전히 과제로 남아 있습니다.
자주 묻는 질문
VidMap에는 어떤 비디오 입력이 필요한가요? 스마트폰, AR 기기, 또는 일반 카메라로 촬영한 모든 단안 비디오가 가능하며, 캘리브레이션 파일이나 관성 측정이 필요하지 않습니다.
VidMap은 SLAM 시스템과 어떻게 비교되나요? VidMap은 점진적이 아닌 모든 프레임을 전역적으로 최적화하여 긴 시퀀스에서 SLAM보다 훨씬 낮은 드리프트를 달성하지만, 오프라인 처리라는 단점이 있습니다.
VidMap은 모든 카메라에서 사용할 수 있나요? 네, 단 카메라가 학습된 깊이 및 캘리브레이션 사전 정보의 학습 분포 내에 있어야 합니다.
VidMap은 3D 모델만 출력하나요, 아니면 카메라 자세도 출력하나요? 둘 다 출력합니다: 카메라 궤적과 희소 3D 포인트 클라우드를 추정하며, 추가 후처리를 통해 밀집화할 수 있습니다.
결론
VidMap은 일반 비디오 영상으로 정확한 3D 복원을 가능하게 하는 중요한 진전을 이뤘습니다. 순차적 SLAM과 전역 SfM의 장점을 결합함으로써, 전 세계에서 이미 촬영된 방대한 비디오 콘텐츠를 기반으로 대규모 공간 이해의 문을 엽니다.