Razonador
Conservamos el razonador autorregresivo de Cosmos3 sin modificaciones arquitectónicas. El razonador procesa observaciones multimodales y contexto lingüístico para facilitar la comprensión corporizada, el anclaje espacial y la planificación de tareas. Para la planificación visual, recibe como entrada el objetivo de la tarea, las observaciones iniciales y actuales, y el historial de subtareas anteriores; luego predice la siguiente subtarea ejecutable, junto con una descripción detallada de su evolución visual prevista y una duración estimada. Estos resultados proporcionan al generador condiciones textuales estructuradas que especifican la interacción prevista y su duración. Durante la generación secuencial de varios pasos, el fotograma final de cada clip generado se convierte en la observación actualizada para el razonamiento posterior, conectando la planificación de subtareas con las consecuencias visuales de las predicciones anteriores.
Tokenización visual y organización de las entradas
Para generar video, codificamos las entradas visuales mediante un VAE de video causal con factores de compresión espacial y temporal de 16 y 4, respectivamente. Los latentes resultantes se dividen espacialmente en parches para formar tokens visuales. Tanto los fotogramas de memoria de escena como el video principal siguen esta ruta del VAE y son procesados por la rama generadora.
Cada fotograma de memoria de escena se codifica de manera independiente y produce un grupo de tokens visuales que representa su contenido espacial. Por lo tanto, cuatro fotogramas de referencia corresponden a cuatro grupos de tokens, cuyas longitudes dependen de la resolución de cada fotograma. Cuando la memoria de escena está habilitada, estos grupos se ubican después del contexto textual del razonador y antes de los tokens del video principal.
En cada paso de eliminación de ruido, el generador procesa los tokens de memoria y del video principal mediante sus capas de atención existentes, mientras atiende a las representaciones textuales del razonador. De este modo, el video principal puede acceder directamente a las referencias de escena, sin introducir un codificador de memoria independiente ni módulos adicionales de atención cruzada.
Memoria de escena entre fragmentos
La planificación a largo plazo requiere que el modelo retenga información visual más allá de la observación actual, en particular cuando los objetos o las regiones de la escena salen del campo de visión. Mantenemos cuatro fotogramas de referencia: una observación inicial persistente, dos fotogramas clave seleccionados del historial anterior y una referencia asociada al paso más reciente. Esta selección conserva tanto una cobertura más amplia de la escena como el contexto reciente de la tarea. Cuando el historial es insuficiente, se seleccionan fotogramas adicionales de los clips históricos disponibles; en el primer paso, se repite la observación inicial para completar los espacios de referencia. Durante la generación secuencial, la observación inicial permanece fija, mientras que las referencias históricas se actualizan a partir de los videos generados.
Complementamos estas referencias dispersas con un prefijo de video continuo del fragmento anterior. A diferencia de los fotogramas de memoria codificados de manera independiente, este prefijo ocupa el inicio de la secuencia temporal del video principal. El tramo final anterior y el segmento actual forman una secuencia continua, en la que el fotograma que comparten aparece una sola vez. Los fotogramas de referencia sirven como anclas visuales de la apariencia y la disposición de la escena, mientras que el prefijo temporal conserva el contexto reciente de movimiento e interacción. En conjunto, constituyen una memoria de escena entre fragmentos para las predicciones visuales sucesivas.
Modos de generación y condiciones fijas
Admitimos tres modos de generación mediante distintas disposiciones de las condiciones visuales dentro de la secuencia del video principal. En la generación de imagen a video (I2V), el primer fotograma latente se fija a la observación inicial codificada y el modelo predice el video subsiguiente. En la generación de primer y último fotograma a video (FL2V), se fijan tanto el primer como el último fotograma latente, lo que establece las condiciones de contorno para generar la transición intermedia. En la continuación de video entre fragmentos, los fotogramas latentes iniciales se fijan a un prefijo continuo del tramo final del video anterior, lo que permite al modelo predecir el siguiente segmento a partir del contexto reciente de movimiento e interacción. Durante la generación secuencial de varios pasos, este prefijo se extrae del video generado previamente.
En todos estos modos, los latentes de memoria de escena y los latentes de condicionamiento del video principal permanecen fijos durante todo el proceso de eliminación de ruido. El generador actualiza las posiciones restantes del video mientras atiende al contexto textual y a las condiciones visuales. Durante el entrenamiento, solo las posiciones que se deben predecir contribuyen a la pérdida de generación. La misma interfaz de condicionamiento admite entradas visuales observadas y autogeneradas, lo que permite aplicar las estrategias de auto-forzado utilizadas durante el ajuste fino del generador.
Datos
El artículo indica que los datos utilizados para ajustar el razonador y el generador se resumen en la Tabla 3.1; los datos de la tabla no están incluidos en el texto proporcionado.
Datos de comprensión general
Para mantener amplias capacidades de comprensión y razonamiento corporizados, utilizamos un subconjunto del 10% del corpus de preentrenamiento de RynnBrain como base de nuestros datos de comprensión. El razonamiento sobre tareas corporizadas requiere que el modelo interprete las intenciones de las tareas, reconozca los objetos y sus propiedades, comprenda las relaciones espaciales y siga los cambios entre observaciones sucesivas. Estas capacidades son especialmente importantes para la planificación visual a largo plazo, en la que cada subtarea debe estar fundamentada en la escena actual y considerarse en relación con las operaciones posteriores. También facilitan la interacción entre comprensión y generación de video: el modelo debe identificar qué aspectos de la escena son relevantes para una tarea, formular la predicción visual correspondiente e interpretar los cambios predichos para orientar el razonamiento posterior.
Los datos abarcan comprensión general de imágenes y videos, respuesta a preguntas visuales, razonamiento temporal y seguimiento de instrucciones, junto con tareas de cognición corporizada, como comprensión de objetos, razonamiento espacial, conteo y comprensión de tareas egocéntricas. La supervisión con anclaje espacial también abarca la localización de objetos, áreas y posibilidades de acción, la predicción de trayectorias y la planificación de manipulaciones, vinculando las instrucciones lingüísticas con ubicaciones explícitas y objetivos de interacción. Combinamos esta supervisión fundamental con nuestros datos de planificación visual y de percepción y razonamiento corporizados para desarrollar razonamiento intercalado de video y lenguaje, conservando a la vez una amplia gama de capacidades de comprensión. Esta combinación está concebida para facilitar tanto las respuestas directas a preguntas sobre tareas corporizadas como la interpretación de las pruebas visuales generadas durante la predicción de video orientada a tareas.
Preguntas frecuentes
¿Qué predice el razonador para la planificación visual? Predice la siguiente subtarea ejecutable, una descripción detallada de la evolución visual prevista y una duración estimada.
¿Cómo se representa la memoria de escena? Utiliza cuatro fotogramas de referencia codificados de manera independiente, junto con un prefijo de video continuo del fragmento anterior.
¿Cuáles son los tres modos de generación admitidos? Son la generación de imagen a video, de primer y último fotograma a video, y la continuación de video entre fragmentos.
¿Qué datos contribuyen a la comprensión general? Los datos incluyen un subconjunto del 10% del corpus de preentrenamiento de RynnBrain, que abarca comprensión general, cognición corporizada y supervisión con anclaje espacial.