Para que los agentes encarnados perciban y actúen con inteligencia en el mundo físico, deben comprender su estructura 3D y predecir cómo evolucionará con el tiempo. Sin embargo, las observaciones visuales solo proporcionan proyecciones 2D parciales del mundo, cada una de las cuales capta un conjunto limitado de puntos de vista, superficies visibles y cambios a lo largo del tiempo. Por tanto, para comprender escenas 4D de forma robusta, es necesario inferir lo que no se observa directamente: la geometría 3D, el punto de vista de la cámara, la apariencia de la escena desde vistas no observadas y la evolución de la escena.
En este trabajo presentamos UGG, un modelo de geometría generativa unificada que trata la generación visual y la predicción geométrica como consultas condicionales distintas de una misma representación subyacente de escenas 4D. La apariencia (vídeo RGB), la estructura 3D (profundidad) y el punto de vista (geometría de cámara) proporcionan observaciones complementarias de una escena dinámica. Según lo que se observe, un modelo conjunto puede inferir los componentes de la escena que faltan.
Nuestra formulación generativa también permite buscar, en tiempo de inferencia, entre varias compleciones plausibles de la escena. En lugar de comprometerse con una única predicción geométrica, muestreamos varios candidatos y seleccionamos el que presenta la mayor coherencia entre modalidades, medida mediante reproyección fotométrica. Esta capacidad de búsqueda en tiempo de inferencia también concuerda con la teoría cognitiva de la percepción como inferencia: para comprender una escena, las personas deben inferir sus causas latentes a partir de observaciones incompletas y pueden recurrir a la simulación interna para evaluar posibles explicaciones de la escena.
En conjunto, nuestras contribuciones son tres: (i) formulamos la comprensión de escenas 4D como un modelado generativo conjunto de la apariencia y la geometría, y tratamos la generación visual y la predicción geométrica como eliminación de ruido de modalidades ausentes dentro de un único modelo condicional. (ii) Presentamos un modelo generativo-predictivo unificado que representa RGB, profundidad y pose de cámara como modalidades alineadas espacialmente, lo que permite un condicionamiento arbitrario y el aprendizaje a partir de conjuntos de datos heterogéneos con supervisión incompleta. (iii) Aprovechamos la formulación generativa para buscar, en tiempo de inferencia, entre varias hipótesis de escenas 4D, y usamos la coherencia geométrica para mejorar la predicción geométrica.
Método
Proponemos un marco generativo-predictivo unificado para la comprensión de escenas 4D. A partir de observaciones parciales de una escena, nuestro objetivo es inferir una representación completa de esta que contenga la apariencia, la profundidad y la geometría de cámara. Formulamos tanto la generación visual como la predicción geométrica como una compleción condicional en un modelo generativo conjunto de RGB, profundidad y modalidades de rayos de cámara alineadas espacialmente. Especificamos cada tarea mediante un patrón de ruido aplicado a tokens multimodales: los tokens observados constituyen el contexto sin ruido y los tokens ausentes, los objetivos ruidosos. El marco admite datos de entrenamiento heterogéneos con supervisión incompleta de modalidades, condicionamiento parcial arbitrario y búsqueda en tiempo de prueba entre varias hipótesis de escenas 4D.
Representación unificada de escenas 4D
La representación de escena resultante, una representación conjunta de la apariencia y la geometría 3D local, contiene la apariencia y la geometría 3D local de cada fotograma: una representación de escena indexada por fotogramas.
Transformador generativo-predictivo
A partir de la representación alineada espacialmente, la representación conjunta de RGB, profundidad y rayos de cámara, diseñamos un transformador de difusión multimodal que procesa conjuntamente la apariencia, la profundidad y la geometría de los rayos de cámara.
Cada token se procesa con capas de incrustación de parches específicas para cada modalidad y una codificación posicional RoPE espaciotemporal sobre las coordenadas espaciales latentes y el índice del fotograma. Si el codificador VAE realiza submuestreo temporal, la cantidad de variables latentes y de fotogramas podría diferir; para simplificar, lo omitimos de la notación y seguimos refiriéndonos a la cantidad de fotogramas o variables latentes como la longitud de la secuencia.
En la etapa de salida, los tokens RGB y de profundidad se decodifican de nuevo al espacio de píxeles mediante el decodificador VAE. Los tokens de mapas de rayos se convierten directamente en mapas de rayos densos, que pueden transformarse de nuevo en parámetros de cámara, incluidas la rotación, la traslación y los parámetros intrínsecos.
Compleción condicional con ruido como enmascaramiento
En el tiempo de difusión cero, el token está completamente limpio, mientras que en el tiempo de difusión terminal es ruido puro. Al variar los niveles de ruido según la modalidad y la posición temporal, realizamos distintas tareas de generación y predicción condicionales sin modificar la arquitectura del modelo.
Búsqueda en tiempo de inferencia
La formulación generativa también permite buscar en tiempo de inferencia, a diferencia de un predictor determinista que se compromete con una sola escena. Dado el mismo contexto observado, muestreamos varias compleciones candidatas a partir de distintas inicializaciones aleatorias. Cada muestra produce una hipótesis completa de escena 4D.
Para elegir entre estas hipótesis sin disponer de la profundidad ni de la pose de cámara reales, evaluamos en qué medida cada hipótesis explica la evidencia geométrica extraída de los fotogramas RGB observados. El apéndice incluye las ecuaciones completas y los hiperparámetros.
Extraemos correspondencias entre píxeles de los fotogramas RGB observados mediante RAFT. Para evitar problemas causados por oclusiones y objetos en movimiento, conservamos únicamente las correspondencias en las que el mapeo hacia delante seguido del mapeo hacia atrás devuelve un píxel a su punto original. Para observaciones densas, seleccionamos pares de fotogramas con movimiento de píxeles informativo y adaptamos la separación temporal según la magnitud del flujo óptico observado. Para observaciones dispersas, tanto la generación como la verificación utilizan únicamente el primer y el último fotograma RGB observados. Estas correspondencias proporcionan restricciones geométricas con las que se pueden evaluar las predicciones candidatas de profundidad y cámara.
Estimación de la pose de cámara
Evaluamos la estimación de la pose de cámara a partir de observaciones RGB en configuraciones densas y dispersas, condicionando el modelo con el vídeo completo o únicamente con el primer y el último fotograma. Se eliminan el ruido de los tokens de rayos de cámara y se convierten en parámetros de cámara, lo que permite comprobar si la geometría de cámara puede predecirse como una modalidad ausente dentro del mismo marco de compleción condicional.
Predicción de profundidad
Evaluamos la predicción de profundidad a partir de observaciones RGB en las configuraciones densas y dispersas descritas en la sección anterior. En ambos casos, los tokens de profundidad se inicializan con ruido y se les elimina el ruido, para comprobar si el modelo unificado de compleción condicional aprende una distribución posterior geométrica útil sobre la profundidad de la escena.
Métodos de referencia. Comparamos con Geo4D, ChronoDepth, Gen3R, Aether y Marigold. Estos métodos de referencia incluyen modelos especializados en profundidad y geometría 4D, además de un modelo unificado; el nuestro se entrena para completar RGB, profundidad y cámara.
Búsqueda en tiempo de prueba para la predicción geométrica
Evaluamos si la búsqueda en tiempo de prueba (TTS) mejora la predicción geométrica mediante el muestreo, durante la inferencia, de varias compleciones de RGB, profundidad y cámara. Para cada entrada, generamos 16 candidatos a partir de distintas inicializaciones de ruido y seleccionamos de forma independiente las predicciones de profundidad y pose utilizando sus respectivas puntuaciones de verificación, como se describe en el método de búsqueda en tiempo de inferencia.
UGG (TTS Oracle) selecciona uno de los mismos 16 candidatos para cada entrada minimizando Abs Rel para la profundidad, alineada en escala y desplazamiento con la verdad de referencia; ATE para la pose densa, o tAE para la pose dispersa. Todas las métricas corresponden al candidato seleccionado. En conjunto, estos resultados muestran que la búsqueda en tiempo de inferencia es una ventaja prometedora de la formulación generativa, aunque todavía hay margen para mejorar los criterios de búsqueda y verificación.
Conclusión
Presentamos un modelo de geometría generativa unificada para la comprensión de escenas 4D, que formula la generación visual y la predicción geométrica como una compleción condicional de RGB, profundidad y rayos de cámara. Mediante patrones de ruido aplicados a tokens de distintas modalidades, un único modelo admite la generación controlada por cámara y la predicción geométrica con observaciones densas y dispersas, y aprende de conjuntos de datos heterogéneos con distinta disponibilidad de modalidades. En diversos conjuntos de datos, UGG logra un sólido rendimiento en generación de vídeo, predicción de profundidad y estimación de pose, y mejora aún más la coherencia geométrica mediante la búsqueda en tiempo de prueba. Estos resultados indican que el modelado conjunto de la apariencia y la geometría con modelos generativos es una vía prometedora hacia una comprensión más general de las escenas 4D.
Nuestro modelo actual no supera de manera uniforme a los métodos especializados: los modelos de NVS específicos para cada tarea siguen obteniendo mejores resultados en métricas alineadas a nivel de píxel, y los modelos geométricos especializados siguen siendo superiores en varias métricas de profundidad en interiores. El trabajo futuro podría abordar estas diferencias mediante un mejor equilibrio entre conjuntos de datos, una supervisión geométrica más sólida y una mayor coherencia entre profundidad y cámara durante el entrenamiento. Nuestra búsqueda en tiempo de prueba también depende del error de reproyección RGB, que resulta útil, pero no siempre es fiable; las puntuaciones de coherencia aprendidas o multimodales podrían ofrecer mejores criterios de búsqueda. Por último, entrenar a mayor escala, con más resolución y con datos más diversos podría mejorar aún más tanto el detalle visual como la precisión geométrica.
Arquitectura del modelo
Partimos de Wan2.2-TI2V-5B y ampliamos su transformador de difusión para crear una arquitectura troncal multimodal de mezcla de transformadores. El VAE de vídeo y el codificador de texto preentrenados se mantienen congelados, y ajustamos únicamente el transformador de difusión. El modelo procesa conjuntamente cuatro flujos latentes correspondientes, respectivamente, al vídeo RGB, las direcciones de los rayos, los momentos de los rayos y la profundidad. Los dos latentes de rayos se concatenan a lo largo de la dimensión de canales y se incorporan como un único flujo de tokens de rayos, por lo que el transformador procesa tres flujos de tokens: RGB, rayos y profundidad.
Objetivo de entrenamiento y difusión forzada
Entrenamos mediante correspondencia de flujo continuo. Muestreamos tiempos de difusión sin transformar para los grupos de contexto y objetivo, como se describe a continuación, y aplicamos el programa desplazado.
A partir de una variable latente limpia la representación sin corromper y ruido gaussiano ruido muestreado aleatoriamente, la entrada ruidosa es una mezcla de la variable latente limpia y ruido gaussiano, y el modelo predice el objetivo de flujo la dirección de cambio objetivo desde el ruido hacia la variable latente limpia.
La función de pérdida es el error cuadrático medio entre el flujo predicho y el objetivo, calculado por separado para RGB, la dirección de los rayos, el momento de los rayos y la profundidad. En las muestras sin supervisión de mapas de rayos o de profundidad, se enmascaran las pérdidas correspondientes.
Inferencia
En el momento de la inferencia, el mismo patrón de valores limpios y ruidosos especifica la tarea. Los tokens observados de RGB, profundidad o mapas de rayos se fijan en sus valores limpios en cada paso de eliminación de ruido y se les asigna un nivel de difusión cero. Los tokens desconocidos se inicializan con ruido gaussiano y se les elimina el ruido progresivamente. Utilizamos el muestreo UniPC con una cantidad especificada de pasos de eliminación de ruido y el mismo programa temporal desplazado que durante el entrenamiento. Con esta configuración, el ciclo de eliminación de ruido de un clip de 50 fotogramas tarda aproximadamente 20 segundos en una única GPU NVIDIA H100 o H200.
Evaluación de la pose de cámara
En la configuración densa, los modelos se condicionan con toda la secuencia RGB. Siguiendo a Geo4D, alineamos las trayectorias predichas con la verdad de referencia mediante la alineación Sim(3) de Umeyama. Informamos del error absoluto de trayectoria (ATE), el error relativo de pose en traslación (RPE t) y en rotación (RPE r). ATE mide la concordancia global de la trayectoria después de la alineación, mientras que RPE mide la coherencia del movimiento local entre fotogramas.
Agradecimientos y declaración de financiación
Agradecemos al Kempner Institute de Harvard University los recursos computacionales que hicieron posible este trabajo. Ayush Tewari agradece el apoyo del NVIDIA Academic Grant Program.
Preguntas frecuentes
¿Qué modela UGG? UGG modela conjuntamente la apariencia RGB, la profundidad y la geometría de los rayos de cámara como modalidades alineadas espacialmente para comprender escenas 4D.
¿Cómo gestiona UGG la información que falta sobre la escena? Utiliza la compleción condicional: trata los tokens observados como contexto limpio y los tokens ausentes como objetivos ruidosos a los que se elimina el ruido.
¿Cómo elige la búsqueda en tiempo de prueba una predicción de escena? Muestrea 16 compleciones candidatas y selecciona las predicciones de profundidad y pose mediante puntuaciones de verificación basadas en evidencia geométrica de los fotogramas RGB observados.
¿Qué métricas se utilizan para evaluar la pose de cámara? El artículo informa del error absoluto de trayectoria y del error relativo de pose en traslación y rotación.