본 논문에서는 VGGT-Edit을 제안합니다. 이는 명령 기반의 네이티브 3D 장면 편집을 위한 피드포워드 프레임워크로, 편집을 3D 잔차 필드 예측 작업으로 간주하여 2D 리프팅 파이프라인에서 흔히 발생하는 다중 뷰 불일치를 피하면서 구조적 무결성을 유지합니다.
3D 편집 데이터 파이프라인
VGGT-Edit을 학습시키기 위해, 대규모의 원본 및 편집된 3D 장면 쌍을 생성하는 자동화된 3D 편집 데이터 생성 파이프라인을 구축했습니다. 주어진 다중 뷰 관측치를 바탕으로, 파이프라인은 네 가지 주요 단계를 통해 이를 고품질, 명령 정렬 및 뷰 일관성을 갖춘 3D 편집 쌍으로 변환합니다.
3D 마스크 정제
이 정제 단계는 노이즈가 있는 감독 신호를 줄이고 더 강력한 다중 뷰 일관성을 강화합니다.
순차적 다중 뷰 편집
데이터 생성의 핵심 과제는 여러 시점에서 편집된 대상의 외관과 기하학적 일관성을 유지하는 것입니다. 각 뷰를 독립적으로 편집하면 일관되지 않은 색상, 질감, 모양 또는 공간 배치가 발생하여 결과 데이터가 네이티브 3D 장면 편집 학습에 적합하지 않게 됩니다. 이 문제를 해결하기 위해 순차적 다중 뷰 편집 전략을 채택합니다. 모든 뷰를 독립적으로 편집하는 대신, 순서대로 편집하고 현재 편집을 이전에 편집된 뷰에 조건화합니다.
인접 뷰 간에 시각적 컨텍스트를 전파함으로써, 이 전략은 시퀀스 전반에 걸쳐 일관된 객체 외관과 공간 배치를 장려합니다. 결과적으로 생성된 편집 쌍은 3D 공간에서 잔차 필드 예측을 학습하기 위한 더 신뢰할 수 있는 감독 신호를 제공합니다.
시점 선택 및 품질 관리
모든 뷰가 동등하게 신뢰할 수 있는 감독 신호를 제공하는 것은 아닙니다. 일부 시점에는 심한 폐색, 절단, 극단적인 시야각 또는 약한 대상 가시성이 포함될 수 있습니다. 고품질 관측치를 선택하기 위해 각 뷰를 평가하는 재투영 충실도 점수를 도입합니다. 주어진 뷰에 대해, 마스크를 3D로 투영한 다음 이미지 평면으로 재투영하여 재구성된 마스크를 얻습니다. 점수는 시야각의 함수로 정의됩니다.
이 측정항목은 정확한 기하학적 투영과 정면, 방해받지 않는 관측이 있는 뷰를 선호합니다. 신뢰할 수 없는 뷰를 필터링함으로써 파이프라인은 더 깨끗한 감독 신호를 제공하고 VGGT-Edit 훈련의 안정성을 향상시킵니다.
DeltaScene 데이터셋
이 섹션에서는 네이티브 3D 장면 편집을 위한 대규모 뷰 일관성 데이터의 부족을 해결하기 위해 특별히 구축된 DeltaScene 데이터셋에 대한 자세한 설명을 제공합니다. 고품질 데이터는 잔차 학습 패러다임을 훈련하는 데 기본적이며, 원본 장면과 편집된 장면 간의 정확한 기하학적 정렬이 필요합니다.
아키텍처 개요
VGGT-Edit은 세 가지 주요 아키텍처 구성 요소로 구성됩니다. 첫째, 고정된 피드포워드 재구성 백본은 강력한 기하학적 사전 지식을 제공합니다. 둘째, 깊이 동기화 텍스트 주입 모듈은 편집 명령을 공간적으로 근거화된 다중 뷰 특징과 정렬합니다. 셋째, 잔차 변환 헤드는 조밀한 잔차 변위 필드를 예측하며, 이는 편집 마스크의 안내에 따라 기본 기하 구조에 추가됩니다. 이 아키텍처를 훈련하기 위해, 편집 재구성, 비편집 보존, 법선 일관성, 카메라 프레임 일관성 및 잔차 정규화를 결합한 잔차 지향 목적 함수를 추가로 도입합니다. 이 공식은 VGGT-Edit이 변경되지 않은 영역을 보존하고 국소 기하 변형을 수행할 수 있게 합니다.
깊이 동기화 텍스트 주입
명령 기반 편집을 수행하기 위해 VGGT-Edit은 텍스트 명령의 의미적 의도를 3D 필드의 올바른 공간 영역에 매핑해야 합니다. 따라서 백본의 포즈 변조 단계와 정렬된 레이어에서 재구성 특징에 텍스트 안내를 주입하는 깊이 동기화 텍스트 주입 모듈을 도입합니다.
주어진 명령에 대해 사전 훈련된 OpenCLIP 인코더를 사용하여 텍스트 임베딩을 얻습니다. 이 임베딩을 한 번만 주입하는 대신, 여러 동기화된 레이어에서 트랜스포머 디코더에 융합합니다. 이러한 레이어는 재구성 백본의 주요 포즈 주입 블록과 일치하도록 선택됩니다. 결과적으로 의미적 안내는 공간 기하 구조가 점진적으로 형성되는 동일한 특징 깊이에서 도입됩니다.
각 선택된 레이어에서 다중 뷰 특징과 명령 임베딩 간의 텍스트 기반 교차 주의를 수행합니다. 이 동기화된 설계는 디코딩 과정 전반에 걸쳐 연속적인 의미적 안내를 제공합니다. 단일 초기 주입과 비교하여 텍스트 정보가 더 깊은 레이어에서 사라질 위험을 줄입니다. 모든 레이어에 텍스트를 주입하는 것과 비교하여 불필요한 계산 및 훈련 불안정성을 피합니다. 실제로 이를 통해 모델은 명령과 의미적으로 정렬되고 뷰 간에 공간적으로 일관된 편집을 생성할 수 있습니다.
뷰 인식 중요도 가중치
다중 뷰 관측치는 편집에 동등하게 유용하지 않습니다. 일부 뷰에서는 대상 객체가 명확하게 보일 수 있지만, 다른 뷰에서는 폐색, 절단되거나 이미지 경계에 가까울 수 있습니다. 따라서 모든 뷰를 동등하게 취급하면 노이즈가 있는 의미적 안내가 발생할 수 있습니다.
이 문제를 해결하기 위해 뷰 인식 중요도 가중치 메커니즘을 도입합니다. 각 뷰에 대해 가시 마스크 면적, 경계 비율 및 백본 신뢰도 점수를 포함하는 기하학적 설명자를 구성합니다. 이러한 양은 해당 뷰에서 대상 관측의 신뢰성을 함께 설명합니다. 경량 MLP가 정규화된 중요도 가중치를 예측합니다.
결과 가중치는 텍스트 임베딩에서 파생된 키 및 값 특징을 변조하는 데 사용됩니다. 이 공식을 통해 더 완전한 관측치를 가진 뷰가 편집 과정에 더 강하게 기여할 수 있는 반면, 폐색 또는 경계 아티팩트로 인한 신뢰할 수 없는 뷰는 억제됩니다.
잔차 필드 예측
텍스트 주입 및 뷰 인식 가중치 후, 공간적으로 융합된 특징은 잔차 변환 헤드로 전달됩니다. 전체 장면 기하 구조를 예측하는 원래 재구성 헤드와 달리, 이 헤드는 명령에 필요한 증분 기하학적 변화만 예측합니다.
구체적으로, 헤드는 조밀한 잔차 변위 필드를 출력합니다. 편집 마스크가 주어지면 편집된 점 맵은 잔차 변위와 마스크의 요소별 곱셈을 통해 얻어지며, 기본 기하 구조에 추가됩니다. 이 잔차 공식은 VGGT-Edit의 핵심입니다. 장면의 대부분 영역은 편집 후 변경되지 않으므로, 완전한 편집된 기하 구조를 직접 예측하는 것은 불필요하며 훈련을 불안정하게 만들 수 있습니다. 국소 잔차 변위만 예측함으로써 VGGT-Edit은 고정된 백본에서 상속된 배경 구조를 보존하고 편집된 영역에 모델링 용량을 집중합니다.
훈련 목적 함수
VGGT-Edit은 편집된 기하 구조를 감독하고, 변경되지 않은 영역을 보존하며, 기하학적 및 투영 일관성을 강제하는 다중 항목 목적 함수로 훈련합니다. 피드포워드 재구성 모델은 실제 기하 구조에 비해 전역 규모 모호성을 나타낼 수 있습니다. 정확한 상대 편집을 학습하는 것이 목표이므로, 편집 영역 내에서 샘플별 마스크 최소제곱 스케일 팩터를 계산합니다.
정렬된 예측은 예측된 편집 기하 구조와 실제 값 간의 오차를 계산하는 마스크 손실 함수에 사용됩니다.
실험
이 섹션에서는 제안된 DeltaScene 데이터셋에서 VGGT-Edit을 평가합니다. 기하학적 정확도, 다중 뷰 일관성, 의미적 정렬 및 추론 효율성 측면에서 성능을 평가하기 위한 실험을 수행합니다.
주요 결과
VGGT-Edit을 의미적 정렬, 다중 뷰 일관성 및 추론 효율성의 세 가지 측면에서 평가합니다. 의미적 정렬의 경우, 편집된 장면의 렌더링된 뷰와 입력 텍스트 명령 간의 CLIP 점수를 보고합니다. 교차 뷰 시각적 및 기하학적 일관성을 측정하기 위해 렌더링된 시점 간의 C-FID 및 C-KID를 계산합니다. 이러한 측정항목은 2D 리프팅 파이프라인에서 흔히 발생하는 고스팅, 깜빡임 및 일관되지 않은 객체 구조와 같은 뷰 종속 아티팩트를 포착합니다. 마지막으로, 최적화 기반 및 확산 기반 방법과 비교하여 편집당 평균 추론 시간을 보고합니다.
정성적 분석
VGGT-Edit의 각 구성 요소의 영향을 추가로 설명하기 위해 정성적 비교를 제공합니다. 시각적 증거는 정량적 결과와 일치합니다.
- 깊이 동기화 주의가 없으면 모델은 불완전한 편집 또는 색상 불일치를 보여 요청된 변경을 완전히 나타내지 못합니다(예: 추가된 객체가 희미하게 나타나거나 잘못 텍스처링됨).
- 뷰 인식 가중치가 없으면 모델은 특히 모델이 공간적 모호성을 해결하지 못하는 폐색 영역의 가장자리에서 눈에 띄는 기하학적 아티팩트와 플로터를 초래합니다.
- 잔차 패러다임을 전체 재구성 헤드로 대체하면 상당한 배경 드리프트가 발생합니다. 정적으로 유지되어야 하는 배경 객체가 미세한 변형이나 이동을 나타내며, 구조적 무결성을 유지하기 위한 3D 잔차 학습의 중요성을 확인합니다.
결론
본 논문에서는 명령 기반 네이티브 3D 장면 편집을 위한 피드포워드 프레임워크인 VGGT-Edit을 제시합니다. 편집을 3D 잔차 필드 예측 작업으로 처리함으로써, 이 모델은 2D 리프팅 파이프라인에서 흔한 다중 뷰 불일치를 피하면서 원본 장면의 구조적 무결성을 보존합니다. 깊이 동기화 텍스트 주입 및 뷰 인식 가중치를 통해 VGGT-Edit은 정확한 의미-공간 정렬 및 강력한 특징 융합을 달성하여 단일 순방향 패스에서 국소 기하 변형을 가능하게 합니다. DeltaScene 데이터셋에 대한 실험 결과는 이 방법이 기하학적 충실도, 다중 뷰 일관성 및 추론 효율성 측면에서 기존의 최적화 기반 및 피드포워드 기준선을 능가함을 보여줍니다. 다양한 작업을 처리하고 고속 성능을 유지하는 능력으로 VGGT-Edit은 실시간 대화형 3D 장면 편집을 위한 실용적이고 일반화 가능한 솔루션을 제공합니다.
자주 묻는 질문
VGGT-Edit은 3D 장면 편집을 위한 2D 리프팅 접근 방식과 어떻게 다른가요? VGGT-Edit은 잔차 변위 필드를 예측하여 3D 공간에서 직접 작동하므로, 각 2D 뷰를 독립적으로 편집할 때 흔히 발생하는 고스팅 및 깜빡임과 같은 다중 뷰 불일치를 피합니다.
깊이 동기화 텍스트 주입 모듈은 어떻게 작동하나요? 백본의 포즈 변조 단계와 동기화된 여러 레이어에서 트랜스포머 디코더에 텍스트 명령 임베딩을 주입하여 기하 구조 형성 과정 전반에 걸쳐 연속적인 의미적 안내를 제공합니다.
VGGT-Edit에는 어떤 유형의 훈련 데이터가 필요한가요? 이 모델은 뷰 일관성, 마스크 정제 및 품질 관리를 보장하는 자동화된 파이프라인을 통해 생성된 대규모의 원본 및 편집된 3D 장면 쌍으로 구성된 DeltaScene 데이터셋을 사용합니다.
VGGT-Edit은 편집 중에 변경되지 않은 배경 영역을 보존할 수 있나요? 네, 편집 영역에 대한 국소 기하학적 변경만 예측하는 잔차 공식을 사용하고, 배경 구조는 고정된 재구성 백본을 통해 보존되기 때문입니다.