El direccionamiento de políticas — guiar el proceso de muestreo de acciones para dirigir los resultados hacia un fin deseado — ofrece una manera de utilizar el conocimiento previo razonable de un generalista en tareas novedosas, aumentando la relevancia de comportamientos útiles. El direccionamiento podría permitir que los generalistas aprovechen el conocimiento de razonadores semánticos, como humanos y grandes modelos de visión-lenguaje (VLMs). Por ejemplo, cuando una política aprende la tarea novedosa de limpiar una encimera de cocina, el conocimiento de que "las esponjas se usan para limpiar derrames" podría dirigir la política a alcanzar la esponja en lugar de intentar otros comportamientos que el robot podría realizar razonablemente en la escena.
Proponemos Flow Reversal Steering (FRS): un enfoque novedoso que mapea acciones de referencia gruesas a sus ruidos al pasarlas a través de políticas de flujo en reversa. Al eliminar el ruido, esto produce acciones detalladas y dentro de la distribución del generalista, manteniéndose aproximadamente consistentes con la acción de referencia. Incluso con un bosquejo aproximado de los comportamientos del robot (por ejemplo, la dirección general necesaria para alcanzar un objeto objetivo), FRS puede proyectar ese comportamiento en el conocimiento previo del generalista para producir una acción detallada similar.
Este mecanismo es especialmente útil para razonadores semánticos, como los VLMs, que pueden inferir aproximadamente los comportamientos apropiados del robot pero no pueden convertirlos en acciones de bajo nivel diestras. FRS traslada la responsabilidad de emitir acciones del robot al generalista, mientras que los razonadores pueden centrarse en un direccionamiento amplio y de alto nivel. Como FRS también proporciona los vectores de ruido correspondientes, se integra bien con políticas de ruido latente, que dirigen a los generalistas de flujo cambiando la distribución de los ruidos de entrada. Esto puede permitir una adaptación rápida y eficiente mediante clonación de comportamiento en el espacio de ruido (BC) y aprendizaje por refuerzo bootstrap en el espacio de ruido (RL) para tareas donde explorar mediante la política generalista es intratable.
Configuración experimental
Evaluamos Flow Reversal Steering respondiendo tres preguntas: ¿Puede FRS mejorar el rendimiento sin entrenamiento, haciendo que los VLMs guíen a los generalistas hacia comportamientos semánticamente razonables? ¿Podemos usar las trayectorias mejoradas de FRS para aprender rápidamente nuevas tareas? ¿Puede FRS ayudar a los generalistas a mejorar más eficientemente a partir de la experiencia?
FRS mejora el rendimiento zero-shot en tareas de manipulación desafiantes
Primero probamos si el uso de FRS para refinar la guía semántica de los VLMs puede mejorar el rendimiento zero-shot. Descubrimos que ejecutar directamente las acciones del VLM es ineficaz. Esto respalda la intuición de que los VLMs tienen dificultades para generar acciones precisas de bajo nivel en zero-shot y muestra cómo FRS no simplemente reconstruye las acciones del VLM, sino que las utiliza para dirigirse hacia acciones detalladas mejores — aunque semánticamente similares — del VLA. El ruido parcial y el muestreo y clasificación tuvieron un rendimiento inferior al de FRS, mejorando solo 4 y 3 tareas difíciles, respectivamente. Estas líneas base tienden a funcionar bien cuando el VLA ya tiene alta probabilidad en comportamientos buenos, no en tareas difíciles donde el éxito es raro, mientras que FRS puede aprender en este caso.
FRS permite el direccionamiento por difusión mediante clonación de comportamiento
Mostramos cómo las trayectorias buenas de FRS producen acciones de ruido expertas, que pueden ser destiladas mediante Diffusion Steering via Behavior Cloning (DSBC). Nos centramos en DSBC en línea y presentamos los resultados fuera de línea de DSBC en LIBERO en el apéndice.
Junto con la política base y el VLM zero-shot con FRS como líneas base, también comparamos con la ejecución de BC estándar en las trayectorias exitosas de FRS (usando la misma arquitectura pequeña que la política de ruido DSBC). Los rollouts exitosos de FRS también pueden ser destilados de vuelta al VLA completo, pero hacerlo usa mucho más cómputo que entrenar una política auxiliar.
DSBC es eficiente en muestras, cómputo y tiempo. En LIBERO, entrena con solo 18 rollouts por tarea en promedio. En robots reales, necesita solo 10 rollouts por tarea para lograr alto rendimiento. La política también es pequeña — en total, el entrenamiento requiere alrededor de 1 GB de memoria GPU (ya que el VLA no necesita cargarse durante el entrenamiento), mientras que ajustar un VLA completo requiere cientos de GB. Debido al tamaño del modelo y los datos, las políticas DSBC se entrenan en menos de un minuto.
FRS acelera y mejora el aprendizaje por refuerzo
Buscamos mostrar cómo FRS puede usarse con RL para aprender de la experiencia. Esto permite superar tanto el rendimiento fijo de FRS zero-shot como la destilación de datos de FRS con DSBC.
Discusión
Introdujimos Flow Reversal Steering (FRS), una forma de convertir guías semánticas gruesas en acciones precisas invirtiendo políticas generalistas de flujo. A través de extensas tareas simuladas y del mundo real con VLAs de última generación, mostramos cómo FRS permite que razonadores, como humanos y VLMs, guíen las políticas hacia comportamientos razonables para tareas novedosas. Esto permite un aprendizaje rápido de políticas mediante nuestro novedoso método Diffusion Steering via Behavior Cloning (DSBC) o mediante el bootstrap de DSRL. Esperamos que FRS proporcione un paradigma alternativo para mejorar eficientemente las políticas generalistas, donde el aprendizaje no solo se guía optimizando funciones de recompensa, sino también mediante conocimiento semántico relevante para la tarea.
Perspectivas sobre el espacio de ruido
Al ejecutar la reversión de flujo, los ruidos más probables (es decir, más cercanos a 0) tienden a mapear a acciones más dentro de la distribución. La reversión de flujo es mejor para encontrar ruidos que se reconstruyen en acciones más dentro de la distribución (menor MSE de reconstrucción). Aumentar el número de pasos de integración para la reversión de flujo conduce a una reconstrucción más precisa (debido a un menor error de integración), pero a costa de salir más de la distribución en el espacio de ruido.
FRS encuentra buenas regiones del espacio de ruido, y los ruidos cerca de buenos ruidos también mapean a buenas acciones. Los ruidos correspondientes a elementos de relleno en fragmentos de acción no parecen afectar mucho la eliminación de ruido. Al aplicar la reversión de flujo, los fragmentos de acción tienden a mapear a fragmentos de ruido temporalmente correlacionados, con menor varianza a lo largo del eje del fragmento que si se muestrearan de una distribución normal estándar.
Conclusiones para ejecutar FRS
Los detalles clave del diseño de FRS motivados por este análisis son: Ejecutar FRS promediando y repitiendo el ruido a lo largo del eje del fragmento no afecta el rendimiento. Todas las políticas de ruido se entrenan para predecir tales ruidos promediados por fragmento, ya que facilita el aprendizaje. Promediar y repetir las propias acciones de referencia buenas aún puede encontrar buenos ruidos, lo que motiva el uso de acciones direccionales para el direccionamiento. Las acciones de referencia deben tener sus elementos de relleno configurados correctamente. Una vez que se calcula el ruido subyacente con la reversión de flujo, los ruidos de relleno se pueden establecer en cero sin afectar el rendimiento.
Al ejecutar la reversión de flujo, existe una correlación inversa entre la fidelidad de reconstrucción y las magnitudes de los ruidos resultantes. Aumentar el número de pasos de integración aumenta la fidelidad pero hace que los ruidos tengan mayor magnitud (es decir, más fuera de distribución). Optamos por usar menos pasos eligiendo el valor predeterminado de 10, ya que esto hace que la inferencia de la política sea más rápida, queremos ruidos más pequeños para un aprendizaje más fácil de la política de ruido, y una fidelidad de reconstrucción de acción extremadamente alta no siempre es beneficiosa, especialmente cuando las acciones de referencia son gruesas.
Interfaz de direccionamiento humano
Para los experimentos de FRS con humanos, un operador dirigía el brazo mediante teclas: seis teclas (W/A/S/D/Q/E) para los tres ejes cartesianos de traslación (adelante/atrás, izquierda/derecha, arriba/abajo), una tecla para cambiar el estado del gripper y una tecla para delegar en la política. Las rotaciones nunca se comandaban desde el teclado.
La tecla del gripper cicla a través de tres estados: abierto, cerrado o ruido. En modo abierto/cerrado, la dimensión del gripper se lleva al valor comandado y se mantiene durante el direccionamiento. En modo ruido, el gripper se deja a la política: el elemento del gripper del fragmento se mantiene en su valor actual y su elemento de ruido correspondiente se aleatoriza, por lo que la acción sin ruido es libre de abrirse o cerrarse según la observación.
Después de pasar la pequeña referencia a través de cinemática inversa para obtener acciones articulares, la repetimos hasta alcanzar la longitud del fragmento de la política (15, por ejemplo, repetir los fragmentos de ángulos articulares de longitud 5 tres veces). Esto es lo que se pasa a través de la reversión de flujo. A su vez, establecemos las partes repetidas del fragmento a ruido cero, permitiendo que la política las elimine según la observación. Esto es similar a la in-painting por difusión, aunque en el espacio de ruido — queremos que la acción dirigida coincida con parte del fragmento de referencia, mientras que el resto se "rellena" con lo que la política considera razonable.
Preguntas frecuentes
¿Qué hace diferente a Flow Reversal Steering de otros métodos de direccionamiento? FRS mapea acciones de referencia gruesas a sus vectores de ruido invirtiendo políticas de flujo, luego elimina el ruido para producir acciones detalladas consistentes con el conocimiento previo del generalista, manteniéndose aproximadamente alineadas con la referencia.
¿Cuántos rollouts necesita DSBC para entrenar eficazmente? En los experimentos LIBERO, DSBC entrena con solo 18 rollouts por tarea en promedio, y en robots reales necesita solo 10 rollouts por tarea para lograr alto rendimiento.
¿Puede FRS funcionar con operadores humanos como razonador semántico? Sí, los operadores humanos pueden dirigir el robot mediante teclas simples para comandos direccionales, y FRS convierte esas referencias gruesas en acciones detalladas adecuadas para la política generalista.
¿Cuál es el costo computacional de entrenar políticas DSBC? El entrenamiento requiere alrededor de 1 GB de memoria GPU (ya que el VLA no necesita cargarse durante el entrenamiento), mientras que ajustar un VLA completo requiere cientos de GB, y las políticas DSBC se entrenan en menos de un minuto.