Presentamos DynaFLIP, un marco de preentrenamiento consciente de la dinámica que integra flujo 3D, lenguaje e imágenes, llevando la comprensión del movimiento a la percepción. Al alinear conjuntamente transiciones de imagen, lenguaje y flujo 3D mediante una formulación basada en símplex —aumentada con un regularizador coseno y un marco contrastivo para resolver problemas de optimización— DynaFLIP aprende representaciones visuales que se centran en regiones relevantes para el control. En tareas de manipulación simuladas y reales, DynaFLIP se transfiere eficazmente como un backbone visual reutilizable y supera consistentemente a las líneas base, con mejoras especialmente grandes bajo cambios de distribución visual, espacial y semántica. Nuestros resultados indican que la generalización robótica mejora cuando las representaciones visuales se entrenan para codificar no solo lo que está presente, sino cómo cambia el mundo bajo la acción.
¿Aprende DynaFLIP Representaciones Conscientes de la Dinámica y Relevantes para el Control?
Configuración experimental. Primero verificamos nuestra afirmación central de que el preentrenamiento de DynaFLIP produce representaciones conscientes de la dinámica que preservan información relevante para el control. Analizamos codificadores de imagen preentrenados en MetaWorld y RLBench: cada codificador permanece congelado, y solo se entrena una política MLP ligera de tres capas sobre él, asegurando que el rendimiento downstream refleje la calidad de la representación y no la capacidad de la política.
En conjunto, los resultados cuantitativos y cualitativos muestran que DynaFLIP aprende representaciones conscientes de la dinámica que preservan información relevante para el control y se centran en regiones críticas para la manipulación.
Evaluación Experimental
En esta sección, evaluamos DynaFLIP mediante experimentos exhaustivos tanto en simulación como en el mundo real. A través de estos experimentos, buscamos responder las siguientes preguntas:
- ¿Aprende DynaFLIP representaciones conscientes de la dinámica que preservan información relevante para el control en manipulación?
- ¿Las representaciones conscientes de la dinámica mejoran el aprendizaje de políticas downstream en comparación con líneas base sólidas?
- ¿Puede DynaFLIP mejorar la manipulación en el mundo real tanto en configuraciones dentro de la distribución como fuera de ella?
- ¿Qué elecciones de diseño en DynaFLIP son más críticas para su rendimiento?
Trabajo Relacionado
Ambos paradigmas, sin embargo, aprenden principalmente de datos estáticos y, por lo tanto, carecen de conciencia dinámica. Esta limitación es importante para la manipulación, donde el éxito depende de cómo cambian las escenas bajo interacción, no solo del reconocimiento de objetos e instrucciones. DynaFLIP aborda esta brecha alineando tres modalidades centradas en transiciones: transiciones de imagen, lenguaje y flujo 3D. Estas señales permiten que el codificador se centre en regiones relevantes para el control en lugar de áreas visualmente salientes pero irrelevantes para la tarea.
Pipeline de Generación de Datos
Seguimos el pipeline unificado de generación de datos de TraceForge con varias modificaciones adaptadas a nuestro contexto. Nuestro pipeline convierte videos sin procesar en tripletas alineadas de imagen, lenguaje y flujo 3D. En comparación con el pipeline original, omitimos el agrupamiento en fragmentos y el reajuste de velocidad, y en su lugar muestreamos directamente fotogramas de cada video para que la resolución temporal efectiva esté aproximadamente igualada entre conjuntos de datos recopilados a diferentes frecuencias de fotogramas, preservando al mismo tiempo el tiempo de movimiento original.
Generación de instrucciones en lenguaje. Para cada trayectoria muestreada, generamos instrucciones en lenguaje que describen la intención de manipulación subyacente utilizando un modelo de lenguaje y visión (VLM). El VLM toma como entrada un pequeño conjunto de fotogramas representativos muestreados de la trayectoria junto con un prompt que le pide describir la tarea en tres formas: una instrucción imperativa corta, una descripción detallada en lenguaje natural y una instrucción de múltiples pasos que descompone la tarea en subobjetivos secuenciales.
Evaluación en LIBERO
Evaluamos DynaFLIP en cinco suites de LIBERO: LIBERO-90, LIBERO-Goal, LIBERO-Object, LIBERO-Spatial y LIBERO-Long. LIBERO-90 contiene 90 tareas, mientras que cada una de las otras cuatro suites contiene 10 tareas con 50 demostraciones por tarea.
Para la entrada visual, usamos solo observaciones RGB en tercera persona y excluimos imágenes de la vista del gripper. La salida del codificador de imagen sirve como vector de condicionamiento visual para la política de difusión. Para codificadores basados en CNN, obtenemos la característica global de la imagen aplicando promedio global al mapa de características final del backbone ResNet. Para codificadores basados en ViT, concatenamos el token de clasificación con los tokens de parche promediados para formar la característica de la imagen.
Las instrucciones en lenguaje se codifican utilizando el codificador de texto correspondiente cuando está disponible. Para R3M, VC-1 y DINOv2, que no proporcionan codificadores de texto nativos, usamos el codificador de texto de CLIP. CLIP, LIV y DynaFLIP usan la representación del token de clasificación como característica de lenguaje a nivel de oración, mientras que SigLIP usa el promedio de todos los embeddings de tokens.
Protocolo de entrenamiento y evaluación. Nuestra configuración principal en LIBERO sigue un protocolo de codificador reutilizable: tanto el codificador de imagen como el de lenguaje permanecen congelados, y solo se entrena la política de difusión. Esta configuración evalúa directamente si cada representación preentrenada puede transferirse al aprendizaje de políticas downstream sin adaptación del codificador específica de la tarea. Como comparación adicional, también informamos una configuración LoRA que adapta ambos codificadores junto con la política de difusión.
Para cada suite de LIBERO, entrenamos una política de difusión separada usando demostraciones de esa suite y la evaluamos en la suite correspondiente. Cada método se entrena durante 200 épocas. Cada 20 épocas, evaluamos la política usando 20 ejecuciones por tarea. Luego seleccionamos el mejor checkpoint a lo largo del entrenamiento e informamos su tasa de éxito promedio en ejecuciones.
Volumen del Símplex Generalizado
Para una tupla de n modalidades, sea v_i los embeddings de modalidad normalizados con L2, y defina e_i = v_i - v_n como los vectores de borde del símplex. Sea G la matriz de Gram de los vectores de borde del símplex. El volumen del símplex generalizado se define como Vol(S) = sqrt(det(G)). Un valor más pequeño indica que los embeddings de modalidad forman una configuración de menor volumen en el espacio latente compartido, reflejando una alineación conjunta más fuerte entre modalidades. En la configuración de tres modalidades utilizada por DynaFLIP, esta cantidad se reduce al área del triángulo definida en la Ec. (1), y nos centramos en este caso en los análisis que siguen.
Por Qué el Volumen del Símplex Solo es Insuficiente
Analizamos la alineación del volumen del símplex en el caso de tres modalidades, donde el objetivo se reduce al área del triángulo definida en la Ec. (1). Esta configuración nos permite caracterizar el gradiente de alineación y revelar dos limitaciones clave: ambigüedad de configuraciones de bajo volumen y gradientes de alineación conflictivos.
Un volumen de símplex bajo no implica necesariamente alineación por pares entre todas las modalidades. El volumen del símplex puede desaparecer incluso cuando algunos pares de modalidades permanecen separados—por ejemplo, cuando un subconjunto de embeddings colapsa junto, o cuando todos los embeddings se vuelven casi colineales.
Por ejemplo, ilustramos esto en el caso de tres modalidades. Considere vectores unitarios en R².
Conclusión
Presentamos DynaFLIP, un marco de preentrenamiento consciente de la dinámica que integra flujo 3D, lenguaje e imágenes, llevando la comprensión del movimiento a la percepción. Al alinear conjuntamente transiciones de imagen, lenguaje y flujo 3D mediante una formulación basada en símplex —aumentada con un regularizador coseno y un marco contrastivo para resolver problemas de optimización— DynaFLIP aprende representaciones visuales que se centran en regiones relevantes para el control. En tareas de manipulación simuladas y reales, DynaFLIP se transfiere eficazmente como un backbone visual reutilizable y supera consistentemente a las líneas base, con mejoras especialmente grandes bajo cambios de distribución visual, espacial y semántica. Nuestros resultados indican que la generalización robótica mejora cuando las representaciones visuales se entrenan para codificar no solo lo que está presente, sino cómo cambia el mundo bajo la acción.
Preguntas Frecuentes
¿Cómo alinea DynaFLIP tres modalidades diferentes durante el preentrenamiento? DynaFLIP utiliza una formulación de alineación basada en símplex que minimiza conjuntamente el volumen formado por las transiciones de imagen, el lenguaje y los embeddings de flujo 3D en un espacio latente compartido, aumentada con un regularizador coseno y un marco contrastivo.
¿Qué diferencia a DynaFLIP de los métodos existentes de preentrenamiento visión-lenguaje para robótica? A diferencia de los métodos entrenados con datos estáticos, DynaFLIP incorpora explícitamente la conciencia de la dinámica al alinear modalidades centradas en transiciones (transiciones de imagen y flujo 3D) con el lenguaje, centrándose en regiones relevantes para el control en lugar de áreas visualmente salientes pero irrelevantes para la tarea.
¿Cómo se desempeña DynaFLIP bajo cambios de distribución en la manipulación del mundo real? DynaFLIP muestra mejoras especialmente grandes bajo cambios de distribución visual, espacial y semántica en comparación con las líneas base, demostrando fuertes capacidades de generalización cuando se despliega en configuraciones fuera de la distribución.
¿Cuáles son los modos de fallo de usar solo el volumen del símplex para la alineación de modalidades? Un volumen de símplex bajo puede ocurrir incluso cuando algunos pares de modalidades permanecen separados, como cuando un subconjunto de embeddings colapsa junto o cuando todos los embeddings se vuelven casi colineales, lo que lleva a una alineación ambigua.