Modelos visión-lenguaje-acción
Más allá de las estrategias generales de ajuste fino supervisado, estudios recientes también han comenzado a analizar las interacciones entre módulos VLA funcionalmente distintos durante la adaptación. El aislamiento del conocimiento estudia la interferencia entre los gradientes del tronco visión-lenguaje y el experto de acciones, aislando los gradientes del módulo de acciones para reducir su interferencia con el conocimiento visión-lenguaje preentrenado. Sin embargo, este enfoque se centra principalmente en aislar los gradientes durante el entrenamiento supervisado; no contempla una optimización diferenciada mediante aprendizaje por refuerzo para distintos módulos durante el postentrenamiento en línea, ni analiza los efectos de las distintas frecuencias de actualización de los módulos semántico y de acciones.
Ejecución y optimización asíncronas de VLA
En conjunto, los estudios existentes han explorado el diseño de modelos VLA, el postentrenamiento mediante aprendizaje por refuerzo y la inferencia asíncrona, así como la optimización de sistemas. No obstante, las frecuencias de actualización de los parámetros de módulos funcionalmente distintos durante el postentrenamiento mediante aprendizaje por refuerzo siguen siendo un aspecto poco estudiado, especialmente en lo relativo a mecanismos que asignen frecuencias diferentes a los módulos semántico y de acciones.
Optimización con frecuencias desacopladas entre semántica y acciones
Las expresiones omitidas representan, respectivamente, las frecuencias de actualización efectivas del experto de acciones y de la capa de proyección semántica.
La razón entre las frecuencias de actualización de acciones y semántica se define entonces como la razón entre la frecuencia de actualización efectiva del experto de acciones y la frecuencia de actualización efectiva de la capa de proyección semántica.
Experimentos
Realizamos experimentos para responder a las siguientes preguntas:
- ¿Mejora TEMPO el rendimiento de VLA en tareas de horizonte largo frente a la política VLA preentrenada de última generación y a la línea base de postentrenamiento mediante aprendizaje por refuerzo?
- ¿Aportan la capa de proyección semántica y el experto de acciones beneficios complementarios durante el postentrenamiento mediante aprendizaje por refuerzo?
- ¿Cómo afecta al rendimiento la razón entre las frecuencias de actualización de la capa de proyección semántica y del experto de acciones?
- ¿Cómo afecta al rendimiento el tamaño del conjunto de tareas de postentrenamiento?
Experimentos en el mundo real
Configuración experimental
Realizamos experimentos de manipulación condicionados por el lenguaje y compuestos por varias etapas en una plataforma física formada por un brazo robótico Synria Alicia-D de 6 grados de libertad y una pinza de 1 grado de libertad. Las observaciones visuales proceden de dos cámaras Intel RealSense: una D435i captura una vista RGB en tercera persona del espacio de trabajo, mientras que una D405 montada en la muñeca registra observaciones de proximidad alrededor de la pinza.
Evaluamos dos tareas de manipulación multietapa, ambas con un requisito previo que el robot debe cumplir antes de interactuar con el objeto objetivo. Para cada tarea, recopilamos 60 episodios de demostración humana, 120 en total. Cada episodio contiene imágenes sincronizadas, estados del robot, comandos de acción ejecutados e instrucciones en lenguaje natural. Estas demostraciones proporcionan datos supervisados específicos de cada tarea antes del postentrenamiento en línea mediante aprendizaje por refuerzo.
Postentrenamiento en línea mediante aprendizaje por refuerzo
Durante el postentrenamiento en línea mediante aprendizaje por refuerzo, se informa de la recompensa de evaluación para cada tarea. Para cada semilla aleatoria, evaluamos 20 pruebas en cada punto de control y sumamos las recompensas binarias de la tarea: 1 para el éxito y 0 para el fracaso.
En ambas tareas, las recompensas de evaluación fluctúan durante la fase inicial y después mejoran y se estabilizan gradualmente a medida que avanza el postentrenamiento. Frente a FLOWER-RL, TEMPO alcanza y mantiene niveles de recompensa más altos durante las etapas posteriores del postentrenamiento.
Conclusión
Este trabajo presenta TEMPO, un marco de postentrenamiento mediante aprendizaje por refuerzo con desacoplamiento semántico-acciones que optimiza distintos componentes VLA mediante bucles de aprendizaje por refuerzo específicos. El método adapta la capa de proyección semántica mientras mantiene congelado el tronco visión-lenguaje preentrenado, y optimiza el experto de acciones para que aprenda comportamientos relacionados con el control y la ejecución a partir de la retroalimentación en línea.
Una estrategia de actualización específica para cada módulo coordina su adaptación: actualiza con menor frecuencia la capa de proyección semántica para mitigar la deriva en el espacio latente de acciones, y con mayor frecuencia el experto de acciones para incorporar eficazmente la retroalimentación de control.
Evaluado en CALVIN y en dos tareas de manipulación del mundo real, TEMPO logra un mejor rendimiento en tareas de horizonte largo que los modelos VLA de última generación y la línea base de postentrenamiento en la simulación, además de obtener mayores recompensas en los experimentos físicos.
Como trabajo futuro, se explorará el aprendizaje de una función de recompensa densa condicionada por el lenguaje, capaz de proporcionar una retroalimentación intermedia más rica que la recompensa dispersa basada en completar la instrucción. Estas señales sensibles al progreso podrían mejorar la asignación de crédito y la eficiencia muestral durante el postentrenamiento mediante aprendizaje por refuerzo, especialmente en tareas de horizonte largo.
Preguntas frecuentes
¿Qué es TEMPO? TEMPO es un marco de postentrenamiento mediante aprendizaje por refuerzo con desacoplamiento semántico-acciones para modelos visión-lenguaje-acción.
¿Qué componentes VLA optimiza TEMPO? TEMPO adapta la capa de proyección semántica y optimiza el experto de acciones, manteniendo congelado el tronco visión-lenguaje preentrenado.
¿Cómo coordina TEMPO la adaptación de los módulos? Actualiza con menor frecuencia la capa de proyección semántica y con mayor frecuencia el experto de acciones.
¿Dónde se evaluó TEMPO? TEMPO se evaluó en CALVIN y en dos tareas de manipulación del mundo real utilizando un brazo robótico Synria Alicia-D.