Un único modelo de mundo de vídeo usa renderizados de robots para predecir en distintas plataformas robóticas

Un único modelo de mundo de vídeo usa renderizados de robots para predecir en distintas plataformas robóticas

Yash Jangir, Karan Mirakhor, Renos Zabounidis, Muhammad Zubair Irshad, Sergey Zakharov +2 más

9 min de lectura•19 nov 2026

La idea clave es indicar explícitamente el movimiento previsto del robot para que el modelo de vídeo pueda centrarse en predecir sus efectos en el entorno. Primero, se recupera la pose de la cámara con respecto a la base del robot. A continuación, se renderiza el robot desde este punto de vista a lo largo de la trayectoria de configuración proporcionada. Doppel utiliza un adaptador de condicionamiento de acciones enriquecido con renderizados para combinar estos renderizados con trayectorias numéricas de articulaciones y de la pinza. Los renderizados muestran dónde se mueve el robot en la imagen, mientras que las entradas numéricas conservan información de configuración que puede ser difícil de percibir. Esta representación condiciona Doppel, un único modelo de imagen a vídeo compartido entre distintas plataformas robóticas.

Doppel

Doppel necesita renderizados del robot desde el mismo punto de vista que las observaciones grabadas. Sin embargo, a los conjuntos de datos de origen les faltan parámetros extrínsecos de cámara o estos son incoherentes. La transformación entre la cámara y el robot se recupera optimizando sus seis grados de libertad para alinear las trayectorias renderizadas del robot con el vídeo grabado, mediante RGB, flujo óptico y características de DINOv2. El renderizador del robot se mantiene fijo; solo se optimiza la pose de la cámara mediante un enfoque de análisis por síntesis.

Representación densa de acciones enriquecida con renderizados

Los renderizados del robot y las acciones numéricas se combinan para producir un vector de condicionamiento para cada token de vídeo. Los renderizados describen el movimiento del robot en el espacio de la imagen, mientras que las acciones numéricas proporcionan información sobre las articulaciones y la pinza que queda oculta por oclusiones o resulta ambigua desde un único punto de vista.

Arquitectura del condicionamiento de acciones enriquecido con renderizados

Debate, limitaciones y conclusión

El método requiere una geometría precisa del robot, un URDF y calibración de la cámara para generar los renderizados. Aunque es posible recuperar los parámetros extrínsecos que faltan en conjuntos de datos sin conexión, los puntos de vista desconocidos o que cambian rápidamente siguen siendo una limitación. Las representaciones que tengan en cuenta la cámara o sean invariantes a ella podrían reducir esta dependencia.

El método también se condiciona con trayectorias de configuración. Para manejar geometrías imperfectas o comandos de control de nivel inferior, sería necesario modelar la incertidumbre en el movimiento y la ejecución del robot. La evaluación abarca plataformas observadas durante el entrenamiento y una cámara por trayectoria. La transferencia a plataformas no vistas, la predicción multivista y la predicción a horizontes más largos quedan para trabajos futuros. Combinar modelos de vídeo preentrenados con representaciones 3D aprendidas podría reducir aún más la necesidad de alineación explícita a nivel de píxel.

Sitio web y vídeo

En la página web del proyecto hay resultados cualitativos adicionales, incluidas comparaciones de vídeo extendidas en los ocho conjuntos de datos, predicciones a largo horizonte, ejemplos de generalización de trayectorias y del entorno, y comparaciones en paralelo con métodos de referencia. Los autores animan a consultar la página web para ver todos los resultados en vídeo, difíciles de representar de forma exhaustiva en las figuras estáticas del artículo.

Proceso de renderizado

El robot se renderiza a lo largo de la trayectoria de articulaciones y de la pinza proporcionada, mediante un modelo gaussiano articulado del robot y la calibración de la cámara objetivo. El renderizador se mantiene fijo durante el entrenamiento del modelo de mundo. Las observaciones RGB, las configuraciones del robot y los fotogramas renderizados se construyen con los mismos índices de fotogramas de origen muestreados, lo que garantiza la alineación temporal de todas las señales de condicionamiento. Al construir las ventanas de entrenamiento, también se comprueba que los renderizados almacenados en caché correspondan a la misma cuadrícula de muestreo temporal.

Los renderizados que muestran únicamente el robot codifican directamente la geometría y el movimiento de la plataforma en coordenadas de imagen; no contienen información sobre escenas u objetos futuros. Se muestran alineaciones representativas entre las trayectorias renderizadas del robot y las observaciones RGB correspondientes en los tres conjuntos de datos.

Para cada plataforma, el método utiliza un marco de renderizado diferenciable de robots. A partir del URDF del robot, se entrena un modelo gaussiano articulado mediante la arquitectura y el procedimiento de entrenamiento del renderizador original. Se entrena un renderizador independiente para cada plataforma robótica, y sus parámetros se mantienen congelados durante el entrenamiento de Doppel.

Los brazos bimanuales YAM de ABC se renderizan con un modelo DrRobot entrenado para el YAM del mismo modo. El humanoide Vega-1 y sus manos Sharpa en T-Rex se renderizan a partir de las mallas del URDF del robot, usando la calibración de la cámara de cabeza publicada con el conjunto de datos. Las personas se renderizan a partir de mallas ajustadas del cuerpo y las manos: manos MANO para GigaHands, SMPL-X para OakInk2 y SMPL-H para Ego-Exo4D, utilizando las mallas de Maddukuri y Pavlakos. Cada malla se rasteriza con el modelo de cámara del conjunto de datos, incluida la distorsión de lente. Todos los renderizados usan un fondo negro y contienen únicamente la plataforma robótica.

Trayectorias de robots renderizadas y alineadas con las observaciones grabadas

Detalles de la arquitectura del adaptador

El adaptador de renderizado y acción contiene aproximadamente [el número de parámetros no se especifica en el texto proporcionado] parámetros y se comparte entre todas las plataformas.

Los renderizados que muestran únicamente el robot son dispersos: la mayoría de las ubicaciones espaciales contienen un fondo vacío. Primero se codifica la secuencia de renderizados con el mismo VAE causal congelado de Wan 2.1. Antes de aplicar el codificador de renderizados entrenable, se resta la media espaciotemporal por muestra y por canal.

Esto evita que los fondos vacíos hagan que los tokens de renderizado sean muy similares entre sí. Si se omite esta resta de la media, el adaptador puede colapsar y producir pesos nulos. La operación se calcula en [la representación o el espacio no se especifica en el texto proporcionado], ya que la señal del robot puede ser pequeña en comparación con la respuesta latente compartida del fondo vacío del renderizado.

Reimplementación del método de referencia

El método de referencia que utiliza únicamente acciones sigue el mecanismo de condicionamiento de EgoWM. Partiendo de la misma arquitectura troncal de imagen a vídeo Wan 2.1 que Doppel, elimina por completo el codificador de renderizados y los módulos de fusión de renderizados y acciones. La configuración numérica del robot en cada instante se normaliza con las mismas estadísticas específicas de cada plataforma que Doppel, se proyecta mediante un MLP seguido de una convolución temporal 1D y se inyecta a través de la vía de modulación de pasos temporales de la arquitectura troncal. Así, el método de referencia recibe la misma trayectoria numérica del robot que Doppel, pero no los renderizados del robot alineados con la cámara.

Todos los demás componentes se mantienen idénticos a los de la configuración correspondiente de Doppel, incluida la inicialización de la arquitectura troncal, los clips de entrenamiento, la construcción de clips, el programa de optimización, el dropout de condicionamiento y el presupuesto de entrenamiento. Todos los modelos se evalúan exactamente en las mismas particiones de validación y prueba. El artículo hace referencia a la receta completa de entrenamiento para una sola plataforma, pero los datos de su tabla no están incluidos en el texto proporcionado. Por tanto, este método de referencia ofrece una comparación controlada entre el condicionamiento basado únicamente en acciones numéricas y el condicionamiento de Doppel.

Métricas de evaluación

Los vídeos generados se evalúan frente a vídeos de referencia a [la resolución no se especifica en el texto proporcionado]. Todas las métricas excluyen el fotograma de condicionamiento y se calculan sobre los dieciséis fotogramas predichos. Salvo que se indique lo contrario, primero se promedian las puntuaciones a lo largo del tiempo dentro de cada clip y, después, entre clips con el mismo peso. Se omiten las puntuaciones no definidas.

Las métricas reportadas son la relación señal-ruido pico (PSNR), la similitud estructural (SSIM) y la similitud perceptual aprendida de parches de imagen (LPIPS). PSNR mide la fidelidad de reconstrucción a nivel de píxel; SSIM mide la concordancia local de luminancia, contraste y estructura; y LPIPS mide la discrepancia perceptual mediante características de AlexNet preentrenado. Cada métrica se calcula de forma independiente para cada fotograma predicho y se promedia a lo largo del horizonte de predicción. Cuanto más altos sean PSNR y SSIM, mejor; cuanto más bajo sea LPIPS, mejor.

Resultados

Se ofrecen resultados cualitativos adicionales en todos los experimentos. El artículo también incluye un ejemplo de generalización de trayectorias que compara Doppel con el método de referencia.

Preguntas frecuentes

¿Cómo condiciona Doppel la generación de vídeo al movimiento del robot? Combina renderizados del robot con trayectorias numéricas de articulaciones y de la pinza para crear vectores de condicionamiento para los tokens de vídeo.

¿Por qué Doppel utiliza tanto renderizados como acciones numéricas? Los renderizados muestran el movimiento del robot en el espacio de la imagen, mientras que las acciones numéricas conservan información sobre las articulaciones y la pinza que puede quedar ocluida o resultar ambigua desde un único punto de vista.

¿Qué necesita el proceso de renderizado? Necesita la geometría del robot, un URDF y calibración de la cámara; se entrena un renderizador gaussiano articulado independiente para cada plataforma, que se mantiene congelado durante el entrenamiento de Doppel.

¿Qué limitaciones persisten? El método depende de una geometría y una calibración precisas, y la evaluación abarca plataformas vistas durante el entrenamiento, con una cámara por trayectoria. La transferencia a plataformas no vistas, la predicción multivista y la predicción a horizontes más largos quedan para trabajos futuros.