Los modelos del mundo que predicen fotogramas de video futuros a partir de imágenes observadas y acciones previstas son un componente central del aprendizaje robótico moderno. Presentamos iMaC, un modelo del mundo corporeizado que traduce acciones futuras en dos controles basados en imágenes complementarias: imágenes de movimiento que visualizan configuraciones futuras de las articulaciones del robot mediante renderizado de cinemática directa, e imágenes de contacto que codifican si y dónde el robot tocará un objeto a través de mapas de calor de campos de distancia a nivel de escena. Estas imágenes condicionadas por la acción se inyectan en el modelo de difusión de video como señales de control visual, guiando la generación de fotogramas futuros precisos. En ocho tareas reales de manipulación de tela, iMaC logra calidad de predicción de video y puntuaciones de evaluación de políticas de última generación sin depender de incrustaciones de acción específicas del dominio o proyecciones de imagen de acción de baja dimensión.
Configuración Experimental
Líneas base y métricas. Comparamos iMaC con líneas base de modelos del mundo condicionados por la acción que inyectan acciones futuras a través de incrustaciones de acción aprendidas o controles de imagen de acción dispersos. Las principales métricas de predicción de video se calculan entre los videos futuros generados y los reales bajo las mismas observaciones iniciales y secuencias de acción. Para la evaluación de políticas, reportamos la correlación entre las puntuaciones del modelo del mundo y las del mundo real para cada tarea. Ablamos las imágenes de movimiento renderizadas por URDF/FK, las imágenes de contacto de dos flujos y la fuente de profundidad utilizada para la construcción de imágenes de contacto.
Detalles de implementación. Entrenamos iMaC en dos etapas. La primera etapa entrena un modelo compartido en datos de las ocho tareas, y la segunda etapa ajusta un modelo específico de tarea en cada tarea individual; por lo tanto, la evaluación final utiliza un modelo del mundo por tarea. Debido a que las imágenes de contacto dependen de la calidad de la profundidad predicha utilizada para la construcción de nubes de puntos, la primera etapa utiliza solo controles de imagen de movimiento, y los controles de imagen de contacto se introducen durante el ajuste fino de la segunda etapa después de que el modelo produce predicciones RGB-D más claras. El rollout durante el entrenamiento también se calienta: durante las primeras 40 épocas, los fragmentos utilizan observaciones de referencia limpias antes de habilitar referencias generadas en un paso.
Estudio de Ablación
Imágenes de movimiento y contacto. Las dos primeras columnas de ablación aíslan los dos controles derivados de la acción. Sin imágenes de contacto, el modelo del mundo carece de guía consciente del contacto para el seguimiento de la acción: el gripper no agarra la tela, aunque los fotogramas posteriores aún generan un movimiento de la tela similar a una interacción. Sin imágenes de movimiento, el modelo carece de guía directa sobre la configuración futura del robot; el gripper intenta repetidamente el movimiento pero no puede producir el agarre preciso.
Fuente de profundidad para imágenes de contacto. Manteniendo los controles de movimiento y contacto pero comparando cómo se obtiene la profundidad utilizada para la construcción de imágenes de contacto, usar profundidad DA3 mejora parcialmente el seguimiento de la acción porque ambos controles están presentes, pero su geometría de contacto es menos consistente que el estado del modelo del mundo RGB-D de iMaC: en comparación con la verdad fundamental, el gripper aún no alcanza la esquina de la tela.
Limitación
iMaC depende de información 3D precisa para entrenar la predicción de profundidad y construir imágenes de contacto basadas en nubes de puntos. En el sistema actual, la supervisión de profundidad es estimada por Depth Anything 3 (DA3) a partir de observaciones RGB multivista y poses de cámara, lo que puede introducir errores de nivel centimétrico en escenas de manipulación. Las imágenes de contacto de dos flujos siguen siendo útiles porque son mapas de calor sobre campos de distancia, por lo que el modelo puede explotar tendencias gruesas de acercamiento y separación en lugar de contacto métrico exacto en cada píxel. Sensores de profundidad de mayor calidad o modelos de profundidad adaptados a la manipulación deberían mejorar aún más la sincronización del contacto, la localización de colisiones y la fiabilidad del rollout a largo plazo.
Preguntas Frecuentes
¿Qué hace que iMaC sea diferente de otros modelos del mundo condicionados por la acción? iMaC traduce acciones futuras en señales de control visual — imágenes de movimiento y contacto — en lugar de depender de incrustaciones de acción aprendidas o proyecciones de imagen de acción dispersas, lo que permite un seguimiento de la acción más preciso e interpretable.
¿Cómo maneja iMaC las tareas donde el contacto preciso con los objetos es crítico? Construye imágenes de contacto de dos flujos a partir de mapas de calor de campos de distancia a nivel de escena que codifican tendencias de contacto de acercamiento y separación, lo que permite al modelo generar interacciones de agarre precisas incluso sin contacto métrico exacto en cada píxel.
¿Qué estrategia de entrenamiento utiliza iMaC para las imágenes de contacto dependientes de la profundidad? El modelo se entrena en dos etapas: primero solo con imágenes de movimiento, luego los controles de imagen de contacto se introducen durante el ajuste fino después de que el modelo produce predicciones RGB-D más claras, evitando el ruido de estimaciones de profundidad tempranas deficientes.
¿Dónde enfrenta actualmente iMaC limitaciones en el despliegue en el mundo real? Su supervisión de profundidad depende de la estimación RGB multivista que puede introducir errores de nivel centimétrico en escenas de manipulación, afectando la sincronización del contacto y la fiabilidad del rollout a largo plazo.