Los modelos actuales del mundo de vídeo pasan por alto por completo la estructura geométrica. Se entrenan únicamente con RGB, y la función de pérdida de entrenamiento no proporciona ninguna señal que permita resolver la ambigüedad 3D subyacente de las secuencias de píxeles. Como resultado, los modelos pueden generar secuencias de predicción visualmente plausibles cuya geometría es internamente incoherente: la profundidad predicha difiere entre las distintas vistas de una misma escena, resulta difícil razonar geométricamente sobre la oclusión y el contacto, y la forma e identidad de los objetos se degradan a lo largo de la secuencia. Para las aplicaciones posteriores que extraen información de estas secuencias, esta incoherencia es el factor limitante.
Contribuciones
Este trabajo presenta un proceso de calibración para recuperar la profundidad métrica y unos parámetros extrínsecos multivista precisos a partir de cualquier conjunto de datos de teleoperación estereoscópica multivista con un URDF conocido. El proceso combina la estimación de profundidad estereoscópica aprendida con una optimización conjunta mediante un grafo de factores, que agrupa todos los episodios del mismo robot físico para recuperar parámetros cinemáticos compartidos —incluidos los desfases de las articulaciones y la calibración mano-ojo— junto con los parámetros extrínsecos de cada escena. Aplicado a DROID, genera DROID-3D, un corpus 3D calibrado que proporciona profundidad métrica densa y parámetros extrínsecos multivista recalibrados para más de 70,000 episodios.
El trabajo también presenta DepthWorld, un modelo del mundo basado en Stable Video Diffusion que predice conjuntamente RGB y profundidad multivista mediante el teselado espacial de latentes, sin modificar el VAE preentrenado.
Con el mismo presupuesto de entrenamiento, la supervisión de profundidad mejora la predicción RGB: DepthWorld supera en [la mejora de PSNR comunicada en decibelios] a una línea base que solo usa RGB, con arquitectura y datos idénticos.
Construcción de conjuntos de datos 3D a gran escala para la manipulación robótica
Los avances recientes en modelos de visión geométrica basados en aprendizaje dependen en gran medida de conjuntos de datos a gran escala que proporcionen profundidad métrica densa y poses de cámara calibradas. En el ámbito de la manipulación faltan recursos de esta naturaleza a una escala comparable. Los grandes conjuntos de datos de teleoperación, como DROID, ofrecen diversidad visual y dinámica incorporada, pero sus anotaciones geométricas originales no alcanzan la calidad de supervisión necesaria para el preentrenamiento geométrico.
El enfoque propuesto toma como entrada un conjunto de datos de teleoperación estereoscópica multivista con un modelo cinemático conocido (URDF) y genera un corpus RGB-D calibrado en el sistema de coordenadas del robot. Aborda los desafíos visuales y de calibración propios del ámbito en dos etapas.
Etapa 1: Calibración multivista inicial
La etapa 1 convierte las cámaras calibradas de forma independiente en cada escena en un sistema coherente, situado aproximadamente en el sistema de coordenadas del robot. Esto ofrece precisión suficiente para representar el URDF del robot en cada vista y ajustarlo a la imagen real en la etapa 2.
Construcción de un modelo del mundo coherente en 3D
DepthWorld busca generar secuencias de vídeo en las que la profundidad y el RGB predichos formen un único mundo 3D geométricamente coherente, en lugar de fotogramas independientes y visualmente plausibles. Utiliza la profundidad métrica densa y los parámetros extrínsecos calibrados de DROID-3D como señales directas de entrenamiento.
Integrar la predicción geométrica en modelos del mundo de vídeo de última generación plantea dos dificultades principales. En primer lugar, modificar una arquitectura base preentrenada como Stable Video Diffusion (SVD) —por ejemplo, ampliando los canales o usando redes de doble rama— destruye los sólidos priors de apariencia y movimiento que hacen útil al modelo. En segundo lugar, supervisar la profundidad de forma independiente para cada vista no fomenta directamente la coherencia 3D entre distintas cámaras.
DepthWorld aborda estos desafíos con dos mecanismos. En vez de alterar la arquitectura de la U-Net, utiliza el teselado espacial de latentes para aprovechar la capacidad del autoencoder variacional (VAE) de codificar la profundidad como una imagen, colocando el RGB y la profundidad uno al lado del otro en una cuadrícula latente más amplia. Para mejorar la coherencia entre vistas, aplica supervisión auxiliar en el sistema de coordenadas del robot mediante una ligera red de predicción de mapas de puntos, que proyecta las predicciones en el sistema de coordenadas de la base física del robot y las supervisa frente a mapas de puntos 3D unificados.
Predicción conjunta de RGB y profundidad mediante teselado espacial
Marigold demostró que un VAE de difusión de imágenes codifica y decodifica fielmente los mapas de profundidad. A partir de este resultado, DepthWorld codifica la profundidad como una imagen independiente junto al RGB y tesela ambas en el espacio latente. Cada una se codifica con el VAE de SVD sin modificar y se coloca una al lado de la otra, de modo que la U-Net recibe una cuadrícula latente más amplia que abarca ambas modalidades. El único cambio en la red consiste en ampliar las embeddings de posición espacial para cubrir la cuadrícula más grande.
Supervisión de mapas de puntos en el sistema de coordenadas del robot
El proceso de eliminación de ruido de profundidad por vista entrena cada mapa de profundidad predicho frente a su propio objetivo de forma independiente, sin penalizar explícitamente las discrepancias entre las profundidades predichas para distintas vistas de cámara de una misma escena. DepthWorld hace explícita la coherencia entre vistas al transformar las predicciones al sistema de coordenadas de la base del robot y calcular allí la pérdida.
Conclusiones y agradecimientos
Este trabajo recibió financiación de los proyectos de Horizonte Europa de la Unión Europea AGIMUS (No. 101070165), euROBIN (No. 101070596), ERC FRONTIER (No. 101097822), ELIAS (No. 101120237) y ELLIOT (No. 101214398); de la subvención inicial de ČVUT «DREAM-ACT» (ID del proyecto CVUT-StG-26-089); y del CTU Future Fund (ID del proyecto CVUT-BrF-26-22825M).
El trabajo también recibió financiación del Programa Horizonte Europa de la UE en virtud del acuerdo de subvención No. 10113667 (proyecto CLARA), y fue cofinanciado por la UE a través del Programa Operativo Jan Amos Komenský (OP JAK), proyecto «Center for Artificial Intelligence and Quantum Computing in System Brain Research», n.º de registro CZ.02.01.01/00/23_029/0008437. El Ministerio de Educación, Juventud y Deportes de la República Checa proporcionó recursos informáticos e infraestructura a través de e-INFRA CZ (ID:90254).
Profundidad métrica por vista
Cada cámara DROID —dos cámaras externas ZED 2 montadas en la mesa y una ZED Mini montada en la muñeca— es un par estereoscópico calibrado con una línea de base conocida. Por tanto, obtener profundidad métrica se reduce a predecir la disparidad de cada píxel. A partir de un píxel y su disparidad predicha, se obtiene la profundidad métrica mediante triangulación directa.
Resultados cualitativos de la calibración de DROID-3D frente a la línea base
Comparaciones cualitativas adicionales muestran las poses obtenidas con el método propuesto y con la línea base basada en PointWorld.
Justificación del preprocesamiento de profundidad
Los mapas de profundidad originales se convierten en imágenes en escala de grises codificables por el VAE mediante un proceso de cuatro pasos, diseñado para mantener la profundidad dentro de la distribución con la que se preentrenó el VAE de Stable Video Diffusion (SVD):
- La profundidad se reduce a la resolución de trabajo mediante desproyección y min-pooling del búfer Z, en lugar de interpolación bilineal. Así se conserva la geometría de los primeros planos y se evitan los artefactos de «píxeles volantes» en los límites de los objetos.
- Las profundidades se limitan al percentil 95 de la distribución de cada cámara: las distancias de recorte especificadas para las cámaras externas y de muñeca. Esto limita la entrada del VAE y conserva el contenido relevante para la manipulación.
- Una transformación logarítmica comprime el rango dinámico y asigna más capacidad de representación a los objetos cercanos, donde la precisión de manipulación es más importante.
- Los valores se normalizan al rango de entrada esperado por el VAE y el canal único se replica en tres canales.
Modificaciones de la línea base de calibración
Para garantizar una evaluación justa de la optimización conjunta mediante un grafo de factores frente a la línea base de refinamiento por escena, basada en PointWorld, se modificó la fuente de profundidad de la línea base. En lugar de usar FoundationStereo, como en el proceso original de PointWorld, la comparación utilizó la estimación de profundidad mediante correspondencia global propuesta. Así, la diferencia de rendimiento se atribuye a la diferencia estructural de la optimización —grafo por escena frente a grafo conjunto acoplado al robot— y no a una diferencia entre predictores de profundidad.
Métricas de calibración geométrica
Como no se dispone de parámetros extrínsecos de referencia para DROID, se utilizan cuatro métricas geométricas indirectas para evaluar la calidad de la calibración:
- Error de reproyección entre cámaras externas (EE): error mediano de reproyección en píxeles entre las dos cámaras externas, calculado sobre un conjunto de inliers de referencia extraído mediante MAGSAC, que impone restricciones epipolares y una alineación 3D basada en Kabsch.
- Error de reproyección entre la cámara de muñeca y las externas (WE): error mediano de reproyección en píxeles análogo, medido entre la cámara dinámica de muñeca y las cámaras externas fijas.
- Error de profundidad del robot (RD): diferencia absoluta mediana, en milímetros, entre el mapa de profundidad predicho y la profundidad obtenida al representar el URDF del robot con los parámetros extrínsecos optimizados y los ángulos de las articulaciones.
- IoU de la máscara: intersección sobre unión entre la máscara de silueta del robot generada a partir del URDF y una máscara de segmentación de referencia del robot, producida por RoboEngine sobre la imagen real.
Comparación con TesserAct
TesserAct es un modelo de vídeo RGB–profundidad–normales (RGBDN) de vista única y condicionado por texto, basado en CogVideoX-5b-I2V, un transformador de difusión de imagen a vídeo con 5B parámetros. No es directamente comparable: no está condicionado por acciones, recibe imágenes de una sola cámara y se entrenó con datos distintos. Por ello, el trabajo lo adapta mínimamente a esta configuración y vuelve a entrenarlo con los mismos episodios que DepthWorld y el mismo presupuesto de pasos.
Preguntas frecuentes
¿Qué es DepthWorld? DepthWorld es un modelo del mundo basado en Stable Video Diffusion que predice conjuntamente RGB y profundidad multivista mediante el teselado espacial de latentes.
¿Qué es DROID-3D? DROID-3D es un corpus 3D calibrado derivado de DROID, que proporciona profundidad métrica densa y parámetros extrínsecos multivista recalibrados para más de 70,000 episodios.
¿Cómo fomenta DepthWorld la coherencia entre las vistas de las cámaras? Utiliza supervisión auxiliar en el sistema de coordenadas del robot: transforma las predicciones al sistema de coordenadas de la base del robot y las compara con mapas de puntos 3D unificados.
¿Cómo se preparan los mapas de profundidad métrica para el modelo? Se reducen mediante desproyección y min-pooling del búfer Z, se limitan, se transforman logarítmicamente, se normalizan al rango de entrada esperado por el VAE y se replican en tres canales.