我们提出VGGT-Edit，一个用于指令驱动的原生3D场景编辑的前馈框架。它将编辑视为3D残差场预测任务，避免了2D提升管线中常见的多视角不一致问题，同时保持了结构完整性。
3D编辑数据管线
为训练VGGT-Edit，我们构建了一个自动化的3D编辑数据生成管线，能够生成大规模的原始与编辑后3D场景对。给定原始多视角观测，该管线通过四个关键阶段将其转换为高质量、指令对齐且视角一致的3D编辑对。
3D掩码精炼
该精炼步骤减少了噪声监督，并增强了多视角一致性。
顺序多视角编辑
数据生成中的一个核心挑战是保持编辑目标在不同视角下的外观和几何一致性。独立编辑每个视角可能会引入不一致的颜色、纹理、形状或空间布局，使得生成的数据不适合用于学习原生3D场景编辑。为解决这一问题，我们采用顺序多视角编辑策略。不是独立编辑所有视角，而是按顺序依次编辑，并将当前编辑条件化为前一个已编辑的视角。
通过在相邻视角间传播视觉上下文，该策略促进了整个序列中目标的一致外观和空间位置。因此，生成的编辑对为学习3D空间中的残差场预测提供了更可靠的监督。
视角选择与质量控制
并非所有视角都能提供同等可靠的监督。某些视角可能存在严重遮挡、截断、极端视角或目标可见性差。为筛选高质量观测，我们引入重投影保真度得分来评估每个视角。对于给定视角，将其掩码投影到3D，然后重新投影回图像平面，得到重建掩码。得分定义为视角的函数。
该指标偏好具有准确几何投影和正面、无遮挡观测的视角。通过过滤不可靠的视角，管线提供了更干净的监督，提高了VGGT-Edit训练的稳定性。
DeltaScene数据集
在本节中，我们详细描述DeltaScene数据集，该数据集专门为解决原生3D场景编辑缺乏大规模、视角一致数据的问题而构建。高质量数据对于训练我们的残差学习范式至关重要，因为它要求原始场景与编辑后场景之间具有精确的几何对齐。
架构概览
VGGT-Edit由三个主要架构组件组成。首先，一个冻结的前馈重建骨干网络提供强大的几何先验。其次，一个深度同步文本注入模块将编辑指令与空间锚定的多视角特征对齐。第三，一个残差变换头预测密集的残差位移场，在编辑掩码的指导下将其添加到基础几何上。为训练此架构，我们进一步引入一个面向残差的目标函数，结合了编辑重建、非编辑保持、法线一致性、相机帧一致性和残差正则化。这种公式使VGGT-Edit能够保持未改变区域并进行局部几何变形。
深度同步文本注入
为执行指令驱动的编辑，VGGT-Edit必须将文本指令的语义意图映射到3D场中的正确空间区域。因此，我们引入一个深度同步文本注入模块，将文本引导注入到与骨干网络的姿态调制阶段对齐的层中的重建特征。
给定一条指令，我们使用预训练的OpenCLIP编码器获取文本嵌入。不是只注入一次，而是在多个同步层将其融合到变换器解码器中。这些层被选择以匹配重建骨干网络的主要姿态注入块。结果，语义引导在空间几何逐渐形成的相同特征深度处被引入。
在每个选定层，我们执行文本驱动的交叉注意力，连接多视角特征与指令嵌入。这种同步设计在整个解码过程中提供连续的语义引导。与单次早期注入相比，它降低了文本信息在深层淡化的风险。与在每个层都注入文本相比，它避免了不必要的计算和训练不稳定性。在实践中，这使模型能够产生既在语义上与指令对齐，又在空间上跨视角一致的编辑。
视角感知重要性加权
多视角观测对于编辑的信息量并不相同。在某些视角中，目标对象可能清晰可见，而在其他视角中可能被遮挡、截断或靠近图像边界。因此，平等对待所有视角可能会引入噪声语义引导。
为解决此问题，我们引入视角感知重要性加权机制。对于每个视角，我们构建一个几何描述符，包括可见掩码面积、边界比和骨干网络置信度得分。这些量共同描述了该视角中目标观测的可靠性。一个轻量级MLP预测归一化的重要性权重。
得到的权重用于调制源自文本嵌入的键和值特征。这种公式允许具有更完整观测的视角对编辑过程贡献更强，同时抑制由遮挡或边界伪影引起的不可靠视角。
残差场预测
在文本注入和视角感知加权之后，空间融合的特征被传递给残差变换头。与预测完整场景几何的原始重建头不同，我们的头仅预测由指令所需的增量几何变化。
具体来说，该头输出一个密集的残差位移场。给定编辑掩码，编辑后的点图通过将残差位移与掩码逐元素相乘，然后加到基础几何上得到。这种残差公式是VGGT-Edit的核心。由于场景中大多数区域在编辑后保持不变，直接预测完整的编辑后几何是不必要的，并且可能使训练不稳定。通过仅预测局部残差位移，VGGT-Edit保留了从冻结骨干网络继承的背景结构，并将其建模能力集中在编辑区域。
训练目标
我们使用一个多项目标函数训练VGGT-Edit，该函数监督编辑后的几何，保持未改变区域，并强制几何和投影一致性。前馈重建模型可能相对于真实几何存在全局尺度模糊性。由于我们的目标是学习准确的相对编辑，我们在编辑区域内计算每个样本的掩码最小二乘尺度因子。
对齐后的预测随后用于掩码损失函数，计算预测与真实编辑后几何之间的误差。
实验
在本节中，我们在提出的DeltaScene数据集上评估VGGT-Edit。我们进行实验以评估其在几何精度、多视角一致性、语义对齐和推理效率方面的性能。
主要结果
我们从三个方面评估VGGT-Edit：语义对齐、多视角一致性和推理效率。对于语义对齐，我们报告编辑场景的渲染视图与输入文本指令之间的CLIP得分。为衡量跨视角的视觉和几何一致性，我们计算渲染视角上的C-FID和C-KID。这些指标捕获视角相关伪影，如重影、闪烁和不一致的对象结构，这在2D提升管线中很常见。最后，我们报告每次编辑的平均推理时间，以衡量与基于优化和基于扩散的方法相比的效率。
定性分析
为进一步说明VGGT-Edit中每个组件的影响，我们提供定性比较。视觉证据与我们的定量发现一致：
- 没有深度同步注意力，模型表现出不完整的编辑或颜色不匹配，未能完全体现所请求的变化（例如，添加的对象显得褪色或纹理不正确）。
- 没有视角感知加权，模型导致明显的几何伪影和漂浮物，特别是在遮挡区域的边缘，模型无法解决空间模糊性。
- 用完整重建头替换我们的残差范式会导致显著的背景漂移。本应保持静态的背景对象表现出微小的变形或位移，证实了我们的3D残差学习对于保持结构完整性的重要性。
结论
我们提出VGGT-Edit，一个用于指令驱动的原生3D场景编辑的前馈框架。通过将编辑视为3D残差场预测任务，我们的模型避免了2D提升管线中常见的多视角不一致问题，同时保持了原始场景的结构完整性。通过深度同步文本注入和视角感知加权，VGGT-Edit实现了精确的语义到空间对齐和鲁棒的特征融合，能够在单次前向传播中完成局部几何变形。在DeltaScene数据集上的实验结果表明，我们的方法在几何保真度、多视角一致性和推理效率方面优于现有的基于优化和前馈的基线方法。凭借处理多种操作和保持高速性能的能力，VGGT-Edit为实时、交互式3D场景编辑提供了一个实用且可推广的解决方案。
常见问题
VGGT-Edit与2D提升方法在3D场景编辑上有何不同？ VGGT-Edit通过预测残差位移场直接在3D空间中操作，避免了独立编辑每个2D视角时常见的重影和闪烁等多视角不一致问题。
深度同步文本注入模块如何工作？ 它将文本指令嵌入注入到与骨干网络的姿态调制阶段同步的多个变换器解码器层中，在几何形成过程中提供连续的语义引导。
VGGT-Edit需要什么类型的训练数据？ 模型使用DeltaScene数据集，这是一个通过自动化管线生成的大规模原始与编辑后3D场景对集合，确保了视角一致性、掩码精炼和质量控制。
VGGT-Edit能在编辑过程中保持未改变的背景区域吗？ 是的，因为它使用残差公式，仅预测编辑区域的局部几何变化，而背景结构通过冻结的重建骨干网络得以保持。