체화형 에이전트가 물리적 세계를 지각하고 지능적으로 행동하려면, 세계의 3D 구조를 이해하고 시간이 흐르면서 어떻게 변할지 예측해야 합니다. 하지만 시각 관측은 세계를 부분적인 2D 투영으로만 보여 주며, 각 관측은 제한된 시점, 보이는 표면, 시간에 따른 변화만 담습니다. 따라서 강인한 4D 장면 이해를 위해서는 직접 관측되지 않는 요소, 즉 3D 기하, 카메라 시점, 관측되지 않은 시점에서의 장면 외관, 장면의 변화를 추론해야 합니다.
본 연구에서는 시각 생성과 기하 예측을 동일한 4D 장면 표현에 대한 서로 다른 조건부 질의로 다루는 통합 생성 기하 모델 UGG를 소개합니다. 외관(RGB 비디오), 3D 구조(깊이), 시점(카메라 기하)은 동적 장면을 상호 보완적으로 관측합니다. 관측된 정보에 따라 공동 모델은 누락된 장면 요소를 추론할 수 있습니다.
또한 생성 방식의 정식화는 추론 시점에 여러 가지 가능한 장면 완성을 탐색할 수 있게 합니다. 하나의 기하 예측만 선택하는 대신 여러 후보를 샘플링하고, 광도 재투영으로 측정한 모달리티 간 일관성이 가장 높은 후보를 선택합니다. 이러한 추론 시점 탐색 기능은 지각을 추론으로 보는 인지 이론과도 부합합니다. 인간의 장면 이해에는 불완전한 관측에서 잠재된 장면 원인을 추론하는 과정이 필요하며, 가능한 장면 설명을 평가하기 위해 내부 시뮬레이션을 활용할 수도 있습니다.
전체적으로 본 연구의 기여는 세 가지입니다. (i) 외관과 기하를 공동 생성 모델링하는 방식으로 4D 장면 이해를 정식화하고, 시각 생성과 기하 예측을 하나의 조건부 모델에서 누락 모달리티를 디노이징하는 문제로 다룹니다. (ii) RGB, 깊이, 카메라 자세를 공간적으로 정렬된 모달리티로 표현하는 통합 생성·예측 모델을 도입해 임의의 조건 설정과 불완전한 감독이 포함된 이질적 데이터셋에서의 학습을 지원합니다. (iii) 생성 방식의 정식화를 활용해 여러 4D 장면 가설을 추론 시점에 탐색하고, 기하 일관성을 이용해 기하 예측을 개선합니다.
방법
4D 장면 이해를 위한 통합 생성·예측 프레임워크를 제안합니다. 장면의 부분 관측이 주어지면 외관, 깊이, 카메라 기하를 포함하는 완전한 장면 표현을 추론하는 것이 목표입니다. 시각 생성과 기하 예측을 공간적으로 정렬된 RGB, 깊이, 카메라 광선 모달리티를 함께 다루는 생성 모델에서 조건부 완성 문제로 정식화합니다. 멀티모달 토큰에 노이즈 패턴을 지정해 각 작업을 정의합니다. 관측된 토큰은 노이즈가 없는 문맥으로, 누락된 토큰은 노이즈가 있는 목표로 취급합니다. 이 프레임워크는 모달리티 감독이 불완전한 이질적 학습 데이터, 임의의 부분 조건 설정, 여러 4D 장면 가설에 대한 테스트 시점 탐색을 지원합니다.
통합 4D 장면 표현
그 결과 얻는 장면 표현인 외관과 국소 3D 기하의 공동 표현은 각 프레임의 외관과 국소 3D 기하를 포함하며, 프레임 인덱스가 부여된 장면 표현입니다.
생성·예측 트랜스포머
공간적으로 정렬된 표현, 즉 RGB, 깊이, 카메라 광선의 공동 표현을 바탕으로 외관, 깊이, 카메라 광선 기하를 공동 처리하는 멀티모달 확산 트랜스포머를 설계합니다.
각 토큰은 모달리티별 패치 임베딩 계층과 잠재 공간 좌표 및 프레임 인덱스에 대한 시공간 RoPE 위치 인코딩을 사용해 처리됩니다. VAE 인코더가 시간축 다운샘플링을 수행하면 잠재 표현의 개수와 프레임 수가 달라질 수 있습니다. 표기를 간단히 하기 위해 이 점은 생략하고, 프레임 또는 잠재 표현의 개수를 계속 시퀀스 길이라고 부릅니다.
출력 단계에서는 RGB 및 깊이 토큰을 VAE 디코더를 사용해 픽셀 공간으로 다시 디코딩합니다. 광선 맵 토큰은 밀집 광선 맵으로 직접 변환하며, 이를 다시 카메라 매개변수, 즉 회전, 이동, 내부 파라미터로 변환할 수 있습니다.
마스킹으로 구현하는 노이즈 기반 조건부 완성
확산 시간이 0일 때 토큰은 완전히 깨끗한 상태이고, 확산 시간이 끝에 도달했을 때 순수한 노이즈 상태입니다. 모달리티와 시간 위치에 따라 노이즈 수준을 달리하면 모델 아키텍처를 변경하지 않고도 서로 다른 조건부 생성 및 예측 작업을 수행할 수 있습니다.
추론 시점 탐색
생성 방식의 정식화는 하나의 장면을 확정하는 결정론적 예측기와 달리 추론 시점 탐색도 가능하게 합니다. 동일한 관측 문맥이 주어지면 서로 다른 무작위 초기화에서 여러 후보 완성 결과를 샘플링합니다. 각 샘플은 완전한 4D 장면 가설을 생성합니다.
정답 깊이나 카메라 자세 없이 이 가설들을 선택하기 위해, 각 가설이 관측된 RGB 프레임에서 추출한 기하 증거를 얼마나 잘 설명하는지 평가합니다. 전체 방정식과 하이퍼파라미터는 부록에 제시되어 있습니다.
RAFT를 사용해 관측된 RGB 프레임 사이의 픽셀 대응점을 추출합니다. 가림과 움직이는 물체로 인한 문제를 줄이기 위해 정방향 매핑 후 역방향 매핑했을 때 픽셀이 원래 위치로 돌아오는 대응점만 유지합니다. 밀집 관측에서는 유의미한 픽셀 움직임이 있는 프레임 쌍을 선택하고, 관측된 광학 흐름의 크기에 따라 시간 간격을 조정합니다. 희소 관측에서는 생성과 검증 모두 관측된 첫 번째 및 마지막 RGB 프레임만 사용합니다. 이 대응점은 후보 깊이 및 카메라 예측을 평가하는 기하 제약 조건을 제공합니다.
카메라 자세 추정
밀집 및 희소 설정에서 RGB 관측으로 카메라 자세를 추정하는 작업을 평가하며, 전체 비디오 또는 첫 번째와 마지막 프레임만 조건으로 사용합니다. 카메라 광선 토큰을 디노이징한 뒤 카메라 매개변수로 변환해, 동일한 조건부 완성 프레임워크에서 카메라 기하를 누락 모달리티로 예측할 수 있는지 평가합니다.
깊이 예측
앞 절에서 설명한 밀집 및 희소 설정에서 RGB 관측으로 깊이를 예측하는 작업을 평가합니다. 두 설정 모두에서 깊이 토큰은 노이즈로 초기화한 뒤 디노이징됩니다. 이를 통해 통합 조건부 완성 모델이 장면 깊이에 대한 유용한 기하 사후분포를 학습하는지 평가합니다.
기준 모델. Geo4D, ChronoDepth, Gen3R, Aether, Marigold와 비교합니다. 기준 모델에는 깊이 및 4D 기하 전문 모델과 통합 모델이 포함되며, 본 모델은 RGB-깊이-카메라 완성 작업을 학습합니다.
기하 예측을 위한 테스트 시점 탐색
추론 시점에 여러 RGB-깊이-카메라 완성 결과를 샘플링해 테스트 시점 탐색(TTS)이 기하 예측을 개선하는지 평가합니다. 각 입력에서 서로 다른 노이즈 초기화로 16개의 후보를 생성하고, 추론 시점 탐색 방법에서 설명한 검증 점수를 사용해 깊이와 자세를 각각 선택합니다.
UGG (TTS Oracle)는 입력마다 동일한 16개 후보 중 하나를 선택합니다. 깊이는 정답에 스케일 및 시프트를 정렬한 Abs Rel, 밀집 자세는 ATE, 희소 자세는 tAE를 최소화하는 후보를 선택합니다. 모든 지표는 선택된 후보를 기준으로 보고합니다. 전반적으로 이 결과는 추론 시점 탐색이 생성 방식의 유망한 이점임을 보여 주지만, 더 강력한 탐색 기준과 검증 방법의 여지도 남아 있습니다.
결론
4D 장면 이해를 위한 통합 생성 기하 모델을 제시하고, 시각 생성과 기하 예측을 RGB, 깊이, 카메라 광선에 대한 조건부 완성 문제로 정식화했습니다. 모달리티 토큰에 노이즈 패턴을 적용해 단일 모델에서 카메라 제어 생성과 밀집 및 희소 관측에 대한 기하 예측을 지원하고, 모달리티 가용성이 서로 다른 이질적 데이터셋으로 학습합니다. 다양한 데이터셋에서 UGG는 비디오 생성, 깊이 예측, 자세 추정에서 우수한 성능을 보이며, 테스트 시점 탐색을 통해 기하 일관성도 향상합니다. 이러한 결과는 생성 모델로 외관과 기하를 공동 모델링하는 것이 보다 일반적인 4D 장면 이해를 위한 유망한 방향임을 시사합니다.
현재 모델이 모든 경우에 전문화된 방법보다 우수한 것은 아닙니다. 작업별 NVS 모델은 픽셀 정렬 지표에서 여전히 더 좋은 성능을 보이며, 전문 기하 모델은 여러 실내 깊이 지표에서 더 강력합니다. 향후에는 데이터셋 균형을 개선하고, 기하 감독을 강화하며, 학습 중 깊이와 카메라의 일관성을 높여 이러한 격차를 줄일 수 있습니다. 테스트 시점 탐색은 RGB 재투영 오차에 의존하는데, 이는 유용하지만 모든 경우에 신뢰할 수 있는 기준은 아닙니다. 학습된 일관성 점수나 멀티모달 일관성 점수를 사용하면 더 강력한 탐색 기준을 마련할 수 있습니다. 마지막으로 더 큰 규모, 더 높은 해상도, 더 다양한 데이터로 학습하면 시각적 세부 묘사와 기하 정확도를 더욱 향상할 수 있습니다.
모델 아키텍처
Wan2.2-TI2V-5B에서 초기화하고 확산 트랜스포머를 멀티모달 Mixture-of-Transformers 백본으로 확장합니다. 사전 학습된 비디오 VAE와 텍스트 인코더는 고정하고 확산 트랜스포머만 미세 조정합니다. 모델은 각각 RGB 비디오, 광선 방향, 광선 모멘트, 깊이에 해당하는 네 개의 잠재 스트림을 공동 처리합니다. 두 광선 잠재 표현은 채널 차원을 따라 연결해 하나의 광선 토큰 스트림으로 임베딩하므로, 트랜스포머는 RGB, 광선, 깊이의 세 토큰 스트림을 처리합니다.
학습 목표와 확산 강제
연속 흐름 매칭으로 학습합니다. 아래 설명처럼 문맥 및 목표 그룹의 원시 확산 시간을 샘플링한 다음, 이동된 스케줄을 적용합니다.
깨끗한 잠재 표현인 오염되지 않은 표현과 가우시안 노이즈인 무작위로 샘플링한 노이즈가 주어지면, 노이즈 입력은 깨끗한 잠재 표현과 가우시안 노이즈의 혼합이며, 모델은 흐름 목표인 노이즈에서 깨끗한 잠재 표현으로 향하는 목표 변화 방향을 예측합니다.
손실은 예측된 흐름과 목표 흐름 간 평균 제곱 오차이며, RGB, 광선 방향, 광선 모멘트, 깊이별로 따로 계산합니다. 광선 맵 또는 깊이에 대한 감독이 없는 샘플에서는 해당 손실을 마스킹합니다.
추론
추론 시에는 동일한 깨끗함/노이즈 패턴으로 작업을 지정합니다. 관측된 RGB, 깊이 또는 광선 맵 토큰은 매 디노이징 단계에서 깨끗한 값으로 고정하고 확산 수준을 0으로 설정합니다. 알 수 없는 토큰은 가우시안 노이즈로 초기화한 뒤 점진적으로 디노이징합니다. UniPC 샘플링에 지정된 디노이징 단계 수를 사용하며, 학습에서 사용한 것과 동일한 이동 시간 스케줄을 적용합니다. 이 설정에서 50프레임 클립 하나의 디노이징 반복은 단일 NVIDIA H100 또는 H200 GPU에서 약 20초가 걸립니다.
카메라 자세 평가
밀집 설정에서 모델은 전체 RGB 시퀀스를 조건으로 사용합니다. Geo4D에 따라 Sim(3) Umeyama 정렬로 예측 궤적을 정답에 정렬합니다. 절대 궤적 오차(ATE), 병진 상대 자세 오차(RPE t), 회전 상대 자세 오차(RPE r)를 보고합니다. ATE는 정렬 후 전역 궤적의 일치도를 측정하고, RPE는 프레임 간 국소 움직임의 일관성을 측정합니다.
감사의 말 및 연구비 공개
본 연구를 지원하는 계산 자원을 제공해 준 Harvard University의 Kempner Institute에 감사드립니다. Ayush Tewari는 NVIDIA Academic Grant Program의 지원에 감사드립니다.
자주 묻는 질문
UGG는 무엇을 모델링하나요? UGG는 4D 장면 이해를 위해 RGB 외관, 깊이, 카메라 광선 기하를 공간적으로 정렬된 모달리티로 공동 모델링합니다.
UGG는 누락된 장면 정보를 어떻게 처리하나요? 관측된 토큰은 깨끗한 문맥으로, 누락된 토큰은 디노이징할 노이즈가 있는 목표로 취급하는 조건부 완성 방식을 사용합니다.
테스트 시점 탐색은 장면 예측을 어떻게 선택하나요? 16개의 후보 완성 결과를 샘플링한 뒤, 관측된 RGB 프레임에서 얻은 기하 증거를 기반으로 한 검증 점수를 사용해 깊이와 자세 예측을 선택합니다.
카메라 자세 평가에는 어떤 지표를 사용하나요? 논문에서는 절대 궤적 오차와 병진 및 회전 상대 자세 오차를 보고합니다.