Presentamos VGGT-Edit, un marco feed-forward para la edición nativa de escenas 3D guiada por instrucciones que trata la edición como una tarea de predicción de campos residuales 3D, evitando las inconsistencias multivista comunes en los pipelines de elevación 2D mientras preserva la integridad estructural.
Pipeline de Datos para Edición 3D
Para entrenar VGGT-Edit, construimos un pipeline automatizado de generación de datos de edición 3D que produce pares a gran escala de escenas 3D originales y editadas. Dadas observaciones multivista en bruto, el pipeline las convierte en pares de edición 3D de alta calidad, alineados con instrucciones y consistentes entre vistas a través de cuatro etapas clave.
Refinamiento de Máscara 3D
Este paso de refinamiento reduce la supervisión ruidosa y refuerza una mayor consistencia multivista.
Edición Multivista Secuencial
Un desafío central en la generación de datos es mantener la consistencia de apariencia y geometría del objetivo editado a través de los puntos de vista. Editar cada vista de forma independiente puede introducir colores, texturas, formas o diseños espaciales inconsistentes, haciendo que los datos resultantes no sean adecuados para aprender edición nativa de escenas 3D. Para abordar este problema, adoptamos una estrategia de edición multivista secuencial. En lugar de editar todas las vistas de forma independiente, las editamos en una secuencia ordenada y condicionamos la edición actual en la vista previamente editada.
Al propagar el contexto visual entre vistas adyacentes, esta estrategia fomenta una apariencia y ubicación espacial consistentes del objeto a lo largo de la secuencia. Como resultado, los pares de edición generados proporcionan una supervisión más fiable para aprender la predicción de campos residuales en el espacio 3D.
Selección de Puntos de Vista y Control de Calidad
No todas las vistas proporcionan una supervisión igualmente fiable. Algunos puntos de vista pueden contener oclusiones severas, truncamientos, ángulos de visión extremos o visibilidad débil del objetivo. Para seleccionar observaciones de alta calidad, introducimos una puntuación de Fidelidad de Reproyección para evaluar cada vista. Para una vista dada, proyectamos su máscara en 3D y luego la reproyectamos al plano de la imagen, obteniendo una máscara reconstruida. La puntuación se define en función del ángulo de visión.
Esta métrica favorece vistas con proyección geométrica precisa y observaciones frontales sin obstrucciones. Al filtrar vistas no fiables, el pipeline proporciona una supervisión más limpia y mejora la estabilidad del entrenamiento de VGGT-Edit.
El Conjunto de Datos DeltaScene
En esta sección, proporcionamos una descripción detallada del Conjunto de Datos DeltaScene, que se construye específicamente para abordar la falta de datos a gran escala y consistentes entre vistas para la edición nativa de escenas 3D. Los datos de alta calidad son fundamentales para entrenar nuestro paradigma de aprendizaje residual, ya que requieren una alineación geométrica precisa entre las escenas originales y editadas.
Descripción General de la Arquitectura
VGGT-Edit consta de tres componentes arquitectónicos principales. Primero, un backbone de reconstrucción feed-forward congelado proporciona una fuerte priorización geométrica. Segundo, un módulo de inyección de texto sincronizado con profundidad alinea la instrucción de edición con características multivista espacialmente fundamentadas. Tercero, una cabeza de transformación residual predice un campo de desplazamiento residual denso, que se añade a la geometría base bajo la guía de una máscara de edición. Para entrenar esta arquitectura, introducimos además un objetivo orientado a residuales que combina reconstrucción de la edición, preservación de lo no editado, consistencia de normales, consistencia en el marco de la cámara y regularización residual. Esta formulación permite a VGGT-Edit preservar regiones sin cambios y realizar deformaciones geométricas localizadas.
Inyección de Texto Sincronizada con Profundidad
Para realizar edición guiada por instrucciones, VGGT-Edit debe mapear la intención semántica de una instrucción de texto a la región espacial correcta en el campo 3D. Por lo tanto, introducimos un módulo de inyección de texto sincronizado con profundidad, que inyecta guía textual en las características de reconstrucción en capas alineadas con las etapas de modulación de pose del backbone.
Dada una instrucción, obtenemos una incrustación de texto utilizando un codificador OpenCLIP preentrenado. En lugar de inyectar esta incrustación una sola vez, la fusionamos en el decodificador del transformador en múltiples capas sincronizadas. Estas capas se seleccionan para coincidir con los principales bloques de inyección de pose del backbone de reconstrucción. Como resultado, la guía semántica se introduce en las mismas profundidades de características donde la geometría espacial se forma progresivamente.
En cada capa seleccionada, realizamos atención cruzada guiada por texto entre las características multivista y la incrustación de la instrucción. Este diseño sincronizado proporciona una guía semántica continua a lo largo del proceso de decodificación. En comparación con una única inyección temprana, reduce el riesgo de que la información textual se desvanezca en capas más profundas. En comparación con inyectar texto en cada capa, evita cómputo innecesario e inestabilidad en el entrenamiento. En la práctica, esto permite al modelo producir ediciones que están tanto alineadas semánticamente con la instrucción como espacialmente consistentes entre vistas.
Ponderación de Importancia por Vista
Las observaciones multivista no son igualmente informativas para la edición. En algunas vistas, el objeto objetivo puede ser claramente visible, mientras que en otras puede estar ocluido, truncado o cerca del borde de la imagen. Tratar todas las vistas por igual puede introducir guía semántica ruidosa.
Para abordar este problema, introducimos un mecanismo de ponderación de importancia por vista. Para cada vista, construimos un descriptor geométrico que incluye el área de máscara visible, la relación de borde y la puntuación de confianza del backbone. Estas cantidades describen conjuntamente la fiabilidad de la observación del objetivo en esa vista. Un MLP ligero predice un peso de importancia normalizado.
El peso resultante se utiliza para modular las características clave y valor derivadas de la incrustación de texto. Esta formulación permite que las vistas con observaciones más completas contribuyan más fuertemente al proceso de edición, mientras que suprime las vistas no fiables causadas por oclusión o artefactos de borde.
Predicción de Campo Residual
Después de la inyección de texto y la ponderación por vista, las características fusionadas espacialmente se pasan a una cabeza de transformación residual. A diferencia de la cabeza de reconstrucción original, que predice la geometría completa de la escena, nuestra cabeza predice solo el cambio geométrico incremental requerido por la instrucción.
Específicamente, la cabeza genera un campo de desplazamiento residual denso. Dada una máscara de edición, el mapa de puntos editado se obtiene mediante multiplicación elemento a elemento del desplazamiento residual con la máscara, sumado a la geometría base. Esta formulación residual es central en VGGT-Edit. Dado que la mayoría de las regiones en una escena permanecen sin cambios después de una edición, predecir directamente la geometría editada completa es innecesario y puede desestabilizar el entrenamiento. Al predecir solo desplazamientos residuales localizados, VGGT-Edit preserva la estructura de fondo heredada del backbone congelado y concentra su capacidad de modelado en la región editada.
Objetivos de Entrenamiento
Entrenamos VGGT-Edit con un objetivo de múltiples términos que supervisa la geometría editada, preserva regiones sin cambios y aplica consistencia geométrica y proyectiva. Los modelos de reconstrucción feed-forward pueden exhibir ambigüedad de escala global en relación con la geometría de verdad fundamental. Dado que nuestro objetivo es aprender ediciones relativas precisas, calculamos un factor de escala por muestra usando mínimos cuadrados enmascarados dentro de la región de edición.
La predicción alineada se utiliza entonces en una función de pérdida enmascarada que calcula el error entre la geometría editada predicha y la verdad fundamental.
Experimentos
En esta sección, evaluamos VGGT-Edit en el Conjunto de Datos DeltaScene propuesto. Realizamos experimentos para evaluar su rendimiento en precisión geométrica, consistencia multivista, alineación semántica y eficiencia de inferencia.
Resultados Principales
Evaluamos VGGT-Edit desde tres aspectos: alineación semántica, consistencia multivista y eficiencia de inferencia. Para la alineación semántica, reportamos la Puntuación CLIP entre las vistas renderizadas de la escena editada y la instrucción de texto de entrada. Para medir la consistencia visual y geométrica entre vistas, calculamos C-FID y C-KID en los puntos de vista renderizados. Estas métricas capturan artefactos dependientes de la vista como imágenes fantasma, parpadeo y estructura de objeto inconsistente, comunes en los pipelines de elevación 2D. Finalmente, reportamos el tiempo promedio de inferencia por edición para medir la eficiencia en comparación con métodos basados en optimización y difusión.
Análisis Cualitativo
Para ilustrar aún más el impacto de cada componente en VGGT-Edit, proporcionamos comparaciones cualitativas. La evidencia visual se alinea con nuestros hallazgos cuantitativos:
- Sin atención sincronizada con profundidad, el modelo exhibe ediciones incompletas o desajustes de color, sin lograr manifestar completamente los cambios solicitados (por ejemplo, el objeto añadido aparece desvanecido o texturizado incorrectamente).
- Sin ponderación por vista, el modelo conduce a artefactos geométricos notables y elementos flotantes, particularmente en los bordes de regiones ocluidas donde el modelo no resuelve ambigüedades espaciales.
- Reemplazar nuestro paradigma residual con una cabeza de reconstrucción completa causa una deriva significativa del fondo. Los objetos de fondo que deberían permanecer estáticos exhiben deformaciones o desplazamientos sutiles, confirmando la importancia de nuestro aprendizaje residual 3D para mantener la integridad estructural.
Conclusión
Presentamos VGGT-Edit, un marco feed-forward para la edición nativa de escenas 3D guiada por instrucciones. Al tratar la edición como una tarea de predicción de campos residuales 3D, nuestro modelo evita las inconsistencias multivista comunes en los pipelines de elevación 2D mientras preserva la integridad estructural de la escena original. Mediante la inyección de texto sincronizada con profundidad y la ponderación por vista, VGGT-Edit logra una alineación semántico-espacial precisa y una fusión robusta de características, permitiendo deformaciones geométricas localizadas en una sola pasada hacia adelante. Los resultados experimentales en el Conjunto de Datos DeltaScene muestran que nuestro método supera a las líneas base existentes basadas en optimización y feed-forward en términos de fidelidad geométrica, consistencia multivista y eficiencia de inferencia. Con su capacidad para manejar diversas operaciones y mantener un rendimiento de alta velocidad, VGGT-Edit proporciona una solución práctica y generalizable para la edición de escenas 3D en tiempo real e interactiva.
Preguntas Frecuentes
¿Qué diferencia a VGGT-Edit de los enfoques de elevación 2D para la edición de escenas 3D? VGGT-Edit opera directamente en el espacio 3D prediciendo campos de desplazamiento residual, evitando las inconsistencias multivista como imágenes fantasma y parpadeo que surgen comúnmente al editar cada vista 2D de forma independiente.
¿Cómo funciona el módulo de inyección de texto sincronizado con profundidad? Inyecta las incrustaciones de la instrucción de texto en el decodificador del transformador en múltiples capas sincronizadas con las etapas de modulación de pose del backbone, proporcionando guía semántica continua durante el proceso de formación de geometría.
¿Qué tipo de datos de entrenamiento requiere VGGT-Edit? El modelo utiliza el Conjunto de Datos DeltaScene, una colección a gran escala de pares de escenas 3D originales y editadas generadas a través de un pipeline automatizado que garantiza consistencia entre vistas, refinamiento de máscaras y control de calidad.
¿Puede VGGT-Edit preservar regiones de fondo sin cambios durante la edición? Sí, porque utiliza una formulación residual que predice solo cambios geométricos localizados para la región de edición, mientras que la estructura de fondo se preserva a través del backbone de reconstrucción congelado.