리그의 기준 카메라 자세를 앵커의 기준 카메라 좌표계로 표현해 한 번의 순전파 과정에서 추정합니다. 앵커는 스트림에 따라 전진합니다.
관련 연구
다중 카메라 오도메트리
여러 카메라는 시야를 넓히고, 한쪽 시야의 성능이 저하될 때 중복성을 제공합니다. 일반화 카메라 모델은 보정된 리그를 하나의 이미징 장치로 취급해, 시야가 거의 또는 전혀 겹치지 않는 경우에도 오도메트리를 지원하고 임의의 리그 배치를 사용하는 키프레임 SLAM을 가능하게 합니다. 이러한 시스템은 명시적인 기하 잔차를 반복 최적화해 움직임을 복원합니다.
스트리밍 모델은 단일 카메라 입력의 이력을 유지하는 반면, 리그 인식 모델은 시간 상태 없이 보정된 여러 시야를 공동으로 인식합니다. 저희가 아는 한, 기존 연구에서는 동결된 다중 시점 3D 기반 모델을 보정된 다중 카메라 리그를 사용하는 인과적 오도메트리에 적용하지 않았습니다. StreamRig은 이 공백을 메웁니다.
방법
StreamRig은 보정된 다중 카메라 리그를 위한 인과적 스트리밍 오도미터입니다. 다중 시점 3D 기반 모델을 인식 프런트엔드로 동결한 채 유지하고, 리그별 인식을 인과적 상태로 변환한 뒤 그 상태에서 오도메트리를 읽어내는 경량 모듈 세 개를 추가합니다. 상대 자세만을 유일한 지도 신호로 사용해 이 모듈들만 학습합니다.
스트리밍 추론 및 앵커 재설정
각 단계에서 백본은 새 리그를 한 번 인식하고, Rig-Resampler가 이를 압축한 뒤 태그가 붙은 토큰을 활성 윈도에 추가합니다. 이전 리그 각각의 키와 값은 브리지의 여덟 개 레이어 모두에 캐시됩니다. 브리지가 새 리그와 해당 앵커 스냅샷을 한 번 처리한 다음 자세 헤드가 현재 리그의 앵커 기준 상대 자세 추정치를 출력합니다.
실험 설정
프로토콜
각 방법은 모든 시퀀스 전체를 첫 자세에 고정된 앵커를 기준으로 인과적으로 처리하고, 자체 예측을 이어 붙여 궤적을 구성합니다. MA-AB 오라클을 제외하면, 정답 자세는 평가에만 사용합니다.
각 방법은 지정된 수의 샘플링된 리그 또는 프레임 단위로 앵커를 재설정합니다. 따라서 자세 추정치는 쌍별 연결 사슬로 형성되며, 블록 크기가 클수록 더 긴 상태가 유지됩니다.
결론
StreamRig의 결과는 리그 공동 인식과 시간 이력이 오도메트리 정확도를 높이는 상호 보완적인 요소임을 보여줍니다. Rig-Resampler와 CausalBridge는 이 조합을 효율적으로 구현하며, 그룹 재위치 추정은 리그 데이터만으로는 제공되지 않는 정렬 초기화를 지원합니다. 앵커 재설정 연구에서는 학습 윈도가 길수록 활용 가능한 앵커 범위가 확장됨을 확인했습니다. 효과적인 스트리밍을 위해서는 간결한 기하 관측 정보와 적절한 앵커 재설정 간격을 함께 사용해야 합니다.
향후 연구
NCLT에서 진행한 탐색적 실험은 압축된 리그 토큰이 동일 세션 내 재방문 검색에 유용할 가능성을 시사합니다. 하지만 여기서는 이 기능을 정량적으로 평가하지 않았으며, 허용 임계값도 세션별로 조정해야 합니다. 향후 연구에서는 여러 세션에 전이 가능한 루프 트리거를 개발하고 재방문 정보를 스트리밍 상태에 통합할 예정입니다. 또한 누적된 맵이 이후 추정치를 제약할 수 있도록 자세와 조밀한 기하 정보를 공동으로 정제할 것입니다.
자주 묻는 질문
StreamRig은 어떤 문제를 다루나요? 리그 인식과 시간 이력을 결합해 보정된 다중 카메라 리그의 인과적 오도메트리를 다룹니다.
StreamRig은 다중 시점 3D 기반 모델을 학습하나요? 아니요. 기반 모델은 동결된 상태로 유지하고, 추가된 경량 모듈 세 개만 학습합니다.
StreamRig은 새 리그를 어떻게 처리하나요? 백본이 새 리그를 인식하고, Rig-Resampler가 이를 압축한 다음 태그가 붙은 토큰을 활성 윈도에 추가합니다. 캐시된 키와 값은 브리지에 이전 리그의 상태를 제공합니다.
논문에서 제시한 향후 연구 과제는 무엇인가요? 여러 세션에 전이 가능한 루프 트리거 개발, 재방문 정보의 스트리밍 상태 통합, 자세와 조밀한 기하 정보의 공동 정제를 제안합니다.