Conectar las acciones de un agente con sus efectos en el mundo, y viceversa, es fundamental para la interacción con propósito. En el control sensoriomotor, el comportamiento hábil combina un modelo directo que anticipa las consecuencias sensoriales del movimiento con un modelo inverso que recupera el movimiento necesario para alcanzar un estado deseado. Los modelos del mundo robóticos deberían soportar igualmente ambas direcciones de razonamiento en un único marco predictivo.
Introducción
Este trabajo introduce Acciones Visuales Enmascaradas, una interfaz de control en el espacio de píxeles para modelos de video preentrenados, junto con una receta de adaptación eficiente basada en ejemplos enmascarados de datos reales y simulados. Los problemas de modelado del mundo robótico directo e inverso pueden plantearse como problemas complementarios de predicción condicional del mismo modelo de video, obtenidos al revelar diferentes entidades en la escena. Este marco se valida tanto en simulación como en el mundo real en tres aplicaciones de manipulación robótica: evaluación de políticas, planificación basada en modelos y modelado inverso.
Construcción del Dataset
El dataset de modelado enmascarado se construye combinando videos del mundo real de DROID y datos de simulación de Robocasa. Se utilizan tanto trayectorias exitosas como fallidas de ambos datasets. Se siguen dos enfoques para construir el condicionamiento enmascarado para cada video, basados en segmentación de video y renderizado del estado del robot.
Implementación y Entrenamiento del Modelo
Se utiliza Wan-Fun-Control 2.2 14B como modelo base. El video de condicionamiento enmascarado se codifica usando el mismo autoencoder que el modelo de video, con concatenación como mecanismo de condicionamiento. La concatenación es apropiada ya que la señal de condicionamiento está alineada espacialmente con el video de salida deseado. Para la región faltante del condicionamiento enmascarado, se establece un fondo gris uniforme. En lugar de ajustar finamente todo el modelo, se utiliza ajuste fino LoRA con rango 256 y un tamaño de lote de 4 usando 8 GPU NVIDIA H200. El modelo se entrena durante aproximadamente 10,000 pasos durante 4 días.
Experimentos
Acciones Visuales Enmascaradas se evalúa como señal de control para el modelado del mundo, evaluando la fidelidad visual y la controlabilidad en comparación con trabajos previos, destacando la generalización a cuerpos no vistos durante el entrenamiento. Se evalúan diversas aplicaciones robóticas del modelo de video, incluyendo planificación mediante evaluación de trayectorias muestreadas, evaluación de políticas, y uso del modelo de video como política en sí misma a través de modelado inverso.
Aplicaciones Robóticas
Se destacan múltiples aplicaciones del modelo del mundo unificado en robótica. El modelo se utiliza como modelo directo para simular acciones robóticas, demostrando su uso para planificación y evaluación de políticas. El modelo también se utiliza como modelo inverso: dado el movimiento deseado del objeto como una acción visual enmascarada, se genera un video del robot realizando la manipulación deseada del objeto, y las acciones se extraen usando un modelo de dinámica inversa aprendido. Robocasa sirve como entorno de simulación en estas aplicaciones.
Entrenamiento de Políticas de Simulación para Planificación y Evaluación de Políticas
Para las políticas de simulación, se evalúan contra las condiciones de éxito proporcionadas por el benchmark. En planificación, estas políticas sirven como generadores de propuestas: se muestrean candidatos de acción de la política, cada candidato se simula con el modelo de video, y los futuros predichos se clasifican con el evaluador basado en VLM. En evaluación de políticas, la misma clase de políticas proporciona las trayectorias de acción cuya tasa de éxito se compara entre el simulador y el modelo de video.
Dinámica Inversa Aprendida para Extracción de Acciones
Se incluyen los baselines Diffusión Policy, ACT y SmolVLA en este experimento, pero solo como controles limitados para el contexto de extracción de acciones. Esos baselines operan en el primer fotograma del video generado en lugar de la interacción sintetizada completa, y por lo tanto no requieren una discusión dedicada separada fuera de esta subsección.
Configuración de Hardware
La configuración de detección consiste en dos cámaras ZED Mini 2. Una cámara está montada en la muñeca del robot y proporciona una vista egocéntrica cerca del efector final. La segunda cámara está montada externamente y proporciona una vista fija en tercera persona del espacio de trabajo. Ambas cámaras graban fotogramas RGB a resolución 1280 × 720 y 30 Hz.
Calibración de Cámara y Marco del Robot
La cámara externa se calibra observando el mismo AprilTag montado en la mesa. Dado que la pose de la cámara de muñeca es conocida por la calibración de la cámara de muñeca, la pose de la cámara externa relativa a la base del robot puede calcularse a partir de la pose detectada del tag. El AprilTag montado en la mesa proporciona un marco de referencia compartido entre el robot, la cámara de muñeca y la cámara externa. La calidad de la calibración se verifica proyectando el modelo del robot en las imágenes de la cámara y comprobando su alineación con los fotogramas observados.
Representación de Trayectorias
Cada ejecución se almacena como una trayectoria donde o_t y o_t_muñeca son las observaciones RGB externas y de muñeca, y q_t es el estado de articulación del robot medido. Todos los datos se almacenan en formato HDF5. Cada archivo corresponde a una ejecución y contiene fotogramas RGB, estados de articulación, marcas de tiempo y metadatos de calibración. Para experimentos que involucran máscaras visuales del robot, los estados de articulación almacenados se combinan con el modelo cinemático Franka, la geometría del efector final personalizada y los parámetros de cámara calibrados para renderizar la geometría del robot en el plano de la imagen.
Discusión y Conclusiones
Al ajustar finamente un modelo de video preentrenado en una pequeña cantidad de datos de Acciones Visuales Enmascaradas, se aprovecha eficientemente el prior del modelo de video para sintetizar contrafactuales condicionando en un subconjunto de entidades de la escena. El modelo puede simular acciones robóticas cuando se condiciona en la visualización del cuerpo robótico como modelo directo condicionado por acciones, y cuando actúa como modelo inverso, sintetiza movimiento robotico adecuado para manipular el objeto de manera realista.
Limitaciones
El modelo, de manera similar a los modelos generativos existentes, aprende la correlación entre la interacción de objetos en lugar de relaciones causales, lo que sigue siendo una pregunta de investigación abierta. El método está naturalmente limitado por las capacidades del modelo de video base, tanto en términos de velocidad de inferencia como de lo que puede expresar, ya que reutiliza el prior del modelo en lugar de modificar sus capacidades.
Impacto Social y Más Amplio
Al permitir la evaluación de políticas basada en video, la planificación y el modelado inverso, este trabajo podría reducir el costo de desarrollar sistemas robóticos y hacer que el aprendizaje robótico sea más accesible. Sin embargo, las mismas capacidades también podrían usarse para comportamientos robóticos inseguros o no autorizados, destacando la necesidad de uso y despliegue responsable.
Preguntas Frecuentes
¿Qué son las Acciones Visuales Enmascaradas? Acciones Visuales Enmascaradas es una interfaz de control en el espacio de píxeles para modelos de video preentrenados que permite a los robots aprender modelos del mundo tanto directos como inversos a partir de ejemplos de video enmascarados.
¿Cómo se entrena el modelo? El modelo usa ajuste fino LoRA en un modelo base Wan-Fun-Control 14B, entrenado durante 10,000 pasos en 8 GPU NVIDIA H200 usando datos de los datasets DROID y Robocasa.
¿Qué aplicaciones robóticas permite esto? El modelo permite evaluación de políticas, planificación basada en modelos y modelado inverso donde el propio modelo de video genera acciones robóticas basadas en el movimiento deseado del objeto.
¿Cuáles son las limitaciones clave? El modelo aprende correlaciones en lugar de relaciones causales, y su rendimiento está limitado por las capacidades del modelo de video base en términos de velocidad y expresividad.