La comprensión geométrica a partir de imágenes es una base de la visión artificial. Métodos como DUSt3R, MASt3R y VGGT demuestran que los transformadores pueden generar representaciones geométricas ricas y transferibles cuando se entrenan con grandes conjuntos de datos 3D anotados. Este requisito de supervisión supone un cuello de botella fundamental, ya que recopilar datos 3D completos a gran escala resulta costoso.
La síntesis de nuevas vistas (NVS) ofrece una alternativa prometedora. Estos modelos deben razonar sobre la estructura 3D de una escena para predecir puntos de vista no observados, lo que proporciona una rica señal de supervisión geométrica a partir de imágenes con poses, disponibles en abundancia en vídeos, plataformas robóticas y procesos de estructura a partir del movimiento. Sin embargo, las representaciones generadas por los métodos de NVS de propagación directa se transfieren mal a tareas geométricas posteriores. Sostenemos que esta deficiente transferencia no se debe a un fallo de la señal, sino a un fallo arquitectónico, causado por dos decisiones identificables e independientes que diluyen dicha señal.
En primer lugar, los decodificadores con gran capacidad de expresión tienden a absorber la carga representacional de la tarea. Cuando un decodificador tiene capacidad suficiente para reconstruir una vista objetivo a partir de cualquier salida del codificador, este no tiene incentivos para mantener características estructuradas y localmente discriminativas. Aunque se resuelva la tarea de reconstrucción, las representaciones latentes no quedan fundamentadas geométricamente. En segundo lugar, los objetivos de reconstrucción en el espacio de píxeles requieren modelar estadísticas de aliasing de alta frecuencia que guardan poca relación con la estructura y la semántica 3D. Por consiguiente, la pérdida de reconstrucción genera gradientes que alientan al codificador de representaciones a conservar estadísticas específicas de cada imagen y de grano fino, que no aportan información directa sobre la estructura 3D o la semántica subyacentes.
SNAP es una base de razonamiento espacial multivista autosupervisado que se apoya en espacios latentes semánticos 2D congelados y combina un objetivo asimétrico de predicción de NVS con objetivos de características latentes para aprender representaciones geométricamente transferibles sin supervisión 3D densa.
El artículo presenta:
- Análisis mecanicistas que aíslan el impacto independiente de la capacidad expresiva del decodificador y del espacio de predicción en la transferencia geométrica, mediante barridos del campo receptivo y experimentos sobre el paisaje del espacio de predicción.
- Evaluación empírica en cinco tareas, con resultados que igualan o superan las líneas de base autosupervisadas y compiten con métodos supervisados geométricamente que requieren grandes conjuntos de datos 3D anotados.
Trabajos relacionados
SNAP se sitúa en la intersección del aprendizaje autosupervisado de representaciones, la síntesis de nuevas vistas y los modelos fundacionales geométricos.
Objetivo de reconstrucción latente
Al dirigir la supervisión a través de las características de DINOv3 en lugar de RGB, el método reemplaza una señal de entrenamiento débil y de bajo nivel por una guía más estructurada. A diferencia de los píxeles sin procesar, que contienen variaciones irrelevantes y apenas tienen una predisposición intrínseca hacia la semántica, las características de DINOv3 se encuentran en una variedad estructurada y proporcionan incrustaciones densas y localizadas espacialmente. La elección se justifica y sus efectos se cuantifican mediante un barrido sistemático de las capas de DINOv3.
Evaluación multitarea de las representaciones
El contenido geométrico de la representación aprendida congelada se analiza en cinco tareas que abarcan correspondencia, localización y estimación de pose. En todos los casos, la representación se mantiene congelada y solo se entrena una cabeza ligera y específica para cada tarea.
Análisis: capacidad expresiva del decodificador y objetivo de predicción
El objetivo es aprender representaciones de escenas que se transfieran entre tareas geométricas, no simplemente optimizar la reconstrucción de nuevas vistas. Estos objetivos pueden divergir: un modelo NVS de codificador-decodificador puede reconstruir con precisión las vistas objetivo y, aun así, incorporar poca estructura espacial transferible en el codificador multivista. Dos factores clave de diseño determinan si la representación multivista aprendida codifica una estructura espacial transferible: la capacidad expresiva del decodificador y el objetivo de predicción.
El espacio de predicción determina la calidad de la representación
El objetivo de predicción determina qué información se incentiva al modelo a codificar. Los modelos NVS recientes suelen supervisar la reconstrucción en el espacio de píxeles, lo que puede enfatizar la apariencia, la textura y la iluminación de bajo nivel en lugar de la geometría transferible. SNAP utiliza, en cambio, la predicción de características latentes: las primeras capas de ViT se mantienen más próximas a RGB, mientras que las capas más profundas producen abstracciones estructurales de alto nivel, robustas frente a artefactos no geométricos como la iluminación y el aliasing.
Los experimentos realizan barridos tanto de la capa de DINOv3 utilizada como entrada de características como de la capa utilizada como objetivo de predicción, para determinar qué espacios de características son óptimos para la predicción de nuevas vistas, tanto en la entrada como en el objetivo. Los codificadores resultantes se evalúan en RE10K y el subconjunto de validación de DL3DV mediante el error de reconstrucción de características, la correspondencia de puntos por vecino más cercano (PCK@0.1), la recuperación de parches (MRR) y la dimensionalidad intrínseca, calculada con el estimador TwoNN.
Experimentos
SNAP se evalúa en cinco tareas con características de un codificador congelado y cabezas decodificadoras ligeras y específicas para cada tarea. Este protocolo aísla la estructura espacial intrínseca aprendida durante el preentrenamiento y pone a prueba la generalización directa, sin los efectos de confusión de los datos de ajuste fino específicos de cada tarea.
Para evaluar la transferencia entre dominios, el protocolo se divide: la correspondencia de puntos y la pose relativa se evalúan en las particiones de validación de los conjuntos de datos de preentrenamiento, RealEstate10K y DL3DV. La estimación de profundidad y la manipulación robótica se evalúan en dominios no observados por la base visual —Hypersim, 7Scenes y MimicGen— para medir la generalización fuera de dominio.
En los métodos NVS de estilo Perceiver cuyas representaciones latentes no están organizadas espacialmente, incluidos LVSM y RayZer, se aplica atención cruzada a dichas representaciones latentes con una cuadrícula espacial de tokens compartida. Todas las características posteriores se calculan a partir de los tokens resultantes de la cuadrícula espacial, lo que garantiza una comparación justa con métodos de codificador indexados espacialmente.
Localización visual
La localización visual requiere asociar una imagen de consulta con un mapa de referencia y estimar la pose absoluta de la cámara, combinando así la capacidad discriminativa de cada parche con la coherencia geométrica global ante grandes cambios de punto de vista. La evaluación entrena una cabeza de regresión ligera con características de un codificador congelado para generar directamente una matriz de rotación 6D y una traslación 3D.
SNAP marca un nuevo referente entre los modelos autosupervisados en la mayoría de las métricas, lo que confirma que las características estructuradas inducidas por la restricción del campo receptivo se generalizan más allá de la correspondencia local y permiten inferir poses globales.
Conclusión
Aunque el preentrenamiento actual se basa en secuencias de vídeo con poses y escenas estáticas con texturas, y los hallazgos están limitados por un presupuesto fijo de cómputo y datos que aún no ha permitido revelar por completo las leyes de escalado de la arquitectura, SNAP demuestra que la síntesis de nuevas vistas de propagación directa es una potente vía para el preentrenamiento geométrico autosupervisado. Extender este paradigma a vídeos dinámicos sigue siendo un paso fundamental para establecer este enfoque como modelo fundacional. En términos más generales, los resultados muestran que la rica señal geométrica de NVS se aprovecha mejor cuando se corrigen dos problemas arquitectónicos: decodificadores tan expresivos que absorben el razonamiento espacial que debería recaer en el codificador, y objetivos en el espacio de píxeles que contaminan los gradientes con estadísticas de bajo nivel.
Configuración del preentrenamiento
Optimización
El entrenamiento se llevó a cabo durante 40,000 pasos, con un tamaño de lote efectivo de 256, en varias clases de hardware GPU mediante Distributed Data Parallel (DDP). Se utilizó el optimizador AdamW, con una tasa de aprendizaje máxima de la tasa de aprendizaje máxima especificada y una disminución del peso de 0.02. La tasa de aprendizaje sigue un calentamiento lineal durante los primeros 2,000 pasos, seguido de un programa de recocido cosenoidal que la reduce progresivamente hasta cero. Se aplica recorte de gradiente con una norma máxima de 0.5 para mantener la estabilidad del entrenamiento.
Promedio móvil exponencial
Para estabilizar las representaciones aprendidas, se mantiene un promedio móvil exponencial (EMA) de todos los parámetros entrenables, con una tasa de decaimiento de 0.999. El EMA abarca todos los componentes de la arquitectura, incluido el codificador multivista sin pose y el decodificador local condicionado por la pose, que actúa como predictor de reconstrucción de características latentes. Todas las evaluaciones empíricas y los análisis geométricos posteriores que se presentan en el texto principal utilizan estos pesos EMA.
Correspondencia de puntos
Generación de etiquetas
Las etiquetas de entrenamiento se generan mediante pares de imágenes de las particiones de entrenamiento de RealEstate10K, DL3DV-10K e Hypersim. Se utilizan dos estrategias distintas según el conjunto de datos:
- RE10K y DL3DV: Las correspondencias de pseudo-verdad de terreno se obtienen con un emparejador RoMa v2 congelado. Para garantizar una supervisión de alta calidad, se filtran los pares de imágenes de modo que incluyan al menos el número especificado de correspondencias fiables.
- Hypersim: Las correspondencias exactas de verdad de terreno se calculan mediante proyección cruzada usando los mapas de profundidad y las poses de cámara proporcionados.
La etapa de decodificación consta de tres capas de atención cruzada, y la etapa de localización consta de tres capas de atención cruzada. En la etapa final de emparejamiento, se aplican proyecciones lineales independientes a las consultas y las claves para evitar interferencias entre gradientes. Antes de calcular el mapa de similitud, el producto escalar normalizado entre consulta y clave se escala mediante un escalar de temperatura entrenable parametrizado logarítmicamente, inicializado en 1.0. Una expectativa espacial diferenciable sobre el mapa de similitud resultante produce la coordenada predicha final.
Optimización
La cabeza de correspondencia se entrena durante 20,000 pasos, con un tamaño de lote efectivo de 128. Se utiliza el optimizador AdamW, con una tasa de aprendizaje máxima de la tasa de aprendizaje máxima especificada, un calentamiento lineal de 2,000 pasos y un programa de recocido cosenoidal. Tal como se especifica en el protocolo de evaluación, todas las vistas se codifican con poses de cámara a mundo identidad y parámetros intrínsecos en unidades de píxel, a fin de aislar la capacidad geométrica intrínseca del codificador de las señales externas de pose. La evaluación se realiza en las particiones de validación reservadas de todos los conjuntos de datos.
Localización visual
Arquitectura
La cabeza de localización visual está diseñada para regresionar una pose objetivo absoluta mediante la localización de una imagen de consulta sin pose respecto de un contexto multivista de referencia. La pose objetivo se parametriza con nueve parámetros: una representación continua de rotación 6D y una traslación 3D.
La cabeza de regresión utiliza capas alternas de transformador con autoatención, que procesan la secuencia objetivo, y atención cruzada, que consulta el contexto de referencia. Se antepone un token CLS aprendido a la secuencia de imágenes objetivo y se aplica RoPE 1D para codificar las posiciones de la secuencia. Una vez procesados los tokens por los bloques del transformador, se extrae el token CLS refinado y se introduce en un perceptrón multicapa final que genera los nueve parámetros de pose. Para garantizar un entrenamiento inicial estable, los sesgos de la capa lineal final se inicializan para representar una transformación identidad.
Estimación de pose
Optimización
La cabeza de secuencia se entrena con las particiones de entrenamiento de RealEstate10K y DL3DV y se evalúa en sus particiones de validación reservadas. El entrenamiento utiliza una tasa de aprendizaje máxima de la tasa de aprendizaje máxima especificada, regida por un programa de recocido cosenoidal con 2,500 pasos de calentamiento. El modelo se optimiza con una pérdida de regresión de pose 9D basada en el error Smooth-L1 de las predicciones de rotación y traslación.
Preguntas frecuentes
¿Qué está diseñado para aprender SNAP? SNAP aprende representaciones geométricamente transferibles a partir de imágenes con poses mediante razonamiento espacial multivista autosupervisado, sin supervisión 3D densa.
¿Por qué SNAP utiliza predicción de características latentes en lugar de reconstrucción RGB? Las características de DINOv3 proporcionan una guía estructurada y localizada espacialmente, mientras que los objetivos en el espacio de píxeles pueden enfatizar la apariencia, la textura, la iluminación y el aliasing de bajo nivel.
¿Cómo afecta la capacidad expresiva del decodificador a la transferencia geométrica? Un decodificador con capacidad suficiente puede absorber la tarea de reconstrucción, reduciendo los incentivos para que el codificador mantenga características estructuradas y localmente discriminativas.
¿Qué tareas posteriores se utilizan para evaluar las representaciones? El artículo evalúa cinco tareas que abarcan correspondencia, localización y estimación de pose, además de estimación de profundidad y manipulación robótica.