Aprender políticas robóticas a partir de preferencias humanas tradicionalmente obliga a los anotadores a dar una única puntuación binaria comparando dos trayectorias, colapsando juicios complejos en un solo número. El Aprendizaje por Preferencias Libres (FPL, por sus siglas en inglés) pide a los anotadores que describan en lenguaje natural las dimensiones que les importan —como velocidad, seguridad o finalización de la tarea— y que proporcionen una preferencia separada para cada eje, preservando la riqueza de la retroalimentación humana.
Introducción
Para preservar estos ejes de juicio, la idea clave es permitir que los anotadores proporcionen etiquetas de preferencia sobre cualquier eje relevante de la tarea que ellos elijan. Esta supervisión multidimensional puede usarse luego para aprender una política optimizada para la combinación de estas dimensiones. FPL pide a los anotadores que especifiquen ejes de juicio relevantes en lenguaje natural y que proporcionen una preferencia binaria para cada eje. Los ejes pueden definirse de antemano o durante el proceso de anotación. Se aprende una función de recompensa multieje que produce una puntuación de recompensa escalar cuando se condiciona a una descripción en lenguaje natural del eje. Finalmente, se entrena una política invocable para optimizar la combinación de ejes descrita durante el entrenamiento de la recompensa. Este marco mejora simultáneamente tanto la facilidad de proporcionar supervisión inequívoca como la densidad de supervisión para la optimización posterior de la política.
Aprendizaje a partir de preferencias libres
La idea clave detrás de FPL es aprender a partir de lenguaje natural y retroalimentación abierta en lugar de preferencias binarias tradicionales. En lugar de pedir a los anotadores una preferencia general entre dos trayectorias, se les pide que describan los ejes a lo largo de los cuales compararlas, como velocidad, seguridad, suavidad o finalización de subtareas. Esto produce una retroalimentación más granular y menos ambigua. Estas preferencias libres se utilizan para aprender una función de recompensa multidimensional condicionada al lenguaje que puntúa las trayectorias a lo largo de cada eje especificado. Luego se entrena una política condicionada a múltiples dimensiones de preferencia para optimizar el comportamiento con respecto a cada eje.
Análisis y evaluación experimental
La sección experimental está diseñada para responder las siguientes preguntas: (a) ¿Aprende FPL políticas efectivas a través de preferencias humanas libres? (b) ¿Las políticas aprendidas mediante FPL muestran composicionalidad de comportamientos no vistos en los datos? (c) ¿Muestra FPL direccionabilidad de las recompensas en tiempo de prueba? (d) ¿Aprende FPL funciones de recompensa más densas para tareas de horizonte largo?
Configuración experimental
Para responder empíricamente a las preguntas anteriores, se consideran cuatro tareas de manipulación del mundo real y dos tareas de simulación. Todas las tareas parten de demostraciones fuera de línea con calidad y estrategias variables. Se reportan la media y el error estándar, usando 20 ejecuciones por método en el mundo real y tres semillas en simulación.
Análisis cualitativo
Los ejes de preferencias libres cambian naturalmente a lo largo de las iteraciones. A medida que el rendimiento de la política mejora en cada iteración, los anotadores pasan de una retroalimentación más gruesa a una retroalimentación más concreta y perfeccionista. En las primeras iteraciones de una tarea de doblar pantalones cortos, el anotador se enfoca en si cada pliegue ocurre o no; más tarde, una vez que el plegado es confiable, se perfeccionan las arrugas y la alineación final.
Las preferencias libres reducen el tiempo de anotación por etiqueta. Recopilar preferencias libres es aproximadamente un 50% más rápido por etiqueta que recopilar preferencias binarias únicas. Debido a que los anotadores proporcionan múltiples juicios específicos de cada eje para cada par de trayectorias, el costo de ver los videos se comparte entre varias etiquetas, lo que reduce la sobrecarga de anotación.
Limitaciones y conclusión
FPL introduce un método para aprender políticas robóticas a partir de preferencias humanas libres. Al recopilar preferencias con ejes en lenguaje natural, FPL proporciona una supervisión más densa y menos ambigua que las preferencias binarias únicas. En cuatro tareas del mundo real y dos entornos de simulación, FPL supera a las líneas base. Preservar la estructura multidimensional de la retroalimentación humana permite la composicionalidad de comportamientos y la direccionabilidad en tiempo de prueba de la política aprendida, así como aprender cualitativamente modelos de recompensa con mejor asignación de crédito.
Quedan varias limitaciones. El aprendizaje por preferencias requiere recopilar preferencias humanas, lo cual es más costoso que los enfoques completamente no supervisados. El aprendizaje de políticas condicionadas a recompensas requiere seleccionar valores de recompensa apropiados en tiempo de prueba; automatizar esta selección es una dirección importante para el trabajo futuro. La política actual está condicionada a un conjunto fijo de ejes de preferencia, y extender este método para manejar ejes variables es una dirección prometedora a medida que los VLA se vuelven más capaces.
Tareas del mundo real
Las cuatro tareas del mundo real utilizan la configuración DROID en un robot Franka, con dos vistas de cámara (muñeca y tercera persona) como observaciones y control de velocidad articular. Cada tarea parte de demostraciones fuera de línea de calidad y estrategia variables.
El robot tiene la tarea de emplatar una rebanada de tostada, ya sea recogiéndola con una espátula o levantándola directamente con el gripper desde una bandeja y colocándola en un plato. La posición y orientación inicial de la tostada en la bandeja varían entre episodios, al igual que la posición de la espátula. A diferencia de las tareas estructuradas, los ejes de preferencia no se fijaron de antemano; en cambio, los anotadores especificaron libremente las dimensiones más relevantes para ellos. Los ejes recopilados incluyen velocidad, suavidad de movimiento, limpieza, calidad del emplatado y si el robot dañó la tostada.
Tareas de simulación
Se proponen dos tareas de simulación y una variación adicional, que son extensiones de las tareas originales de robomimic. En una tarea, hay dos objetos en la escena: el pan y la lata. El objetivo es colocarlos en la caja correcta, en el orden correcto (primero el pan, luego la lata) y sin dejarlos caer. El conjunto de datos fuera de línea contiene una mezcla de comportamientos: datos que colocan en el orden incorrecto o que dejan caer los objetos, así como demostraciones perfectas.
Recopilación de preferencias
Las preferencias se recopilan a través de una interfaz web personalizada en la que se presentan a los anotadores dos grabaciones de video lado a lado de ejecuciones del robot y se les pide que indiquen qué ejecución es preferida a lo largo de cada eje o si son equivalentes. Para algunas tareas (Mesa de Configuración, Doblar Pantalones Cortos y Colocar Cubo en Tazón), los ejes están predefinidos y varían según la tarea. Para otras, como la tarea de Emplatar Tostada, los anotadores además especifican sus propios ejes de preferencia en texto libre antes de proporcionar sus preferencias. Recopilar preferencias libres es más barato en tiempo que recopilar preferencias únicas al considerar el tiempo dedicado por etiqueta. El anotador puede proporcionar múltiples etiquetas en lugar de solo una al ver un solo par de videos de dos trayectorias, mientras que para preferencias únicas solo puede proporcionar una etiqueta. La aceleración observada es aproximadamente 1.85 veces más rápida para proporcionar preferencias libres que preferencias únicas.
Detalles de implementación
Para el aprendizaje del modelo de recompensa, se permite a los anotadores especificar que dos trayectorias son equivalentes en algún eje; en esos casos se descarta la etiqueta.
Detalles de cómputo
Los recursos de cómputo utilizados fueron una GPU H100 para el ajuste fino completo de la política y el ajuste fino del modelo de recompensa. Para los experimentos de simulación, se usaron GPUs más pequeñas, generalmente NVIDIA RTX 4500.
Preguntas frecuentes
¿Qué diferencia al aprendizaje por preferencias libres del aprendizaje por preferencias estándar? En lugar de colapsar todo el juicio en una única puntuación binaria, FPL pide a los anotadores que especifiquen ejes de juicio en lenguaje natural y proporcionen preferencias separadas para cada eje, dando una supervisión más densa y menos ambigua.
¿Funciona FPL para tareas de horizonte largo? Sí, FPL aprende funciones de recompensa más densas para tareas de horizonte largo porque los anotadores pueden asignar crédito a lo largo de ejes específicos (como finalización de subtareas) en lugar de solo una comparación general.
¿Cuánto más rápida es la anotación de preferencias libres? Recopilar preferencias libres es aproximadamente 1.85 veces más rápido por etiqueta que recopilar preferencias binarias únicas, porque los costos de visualización se comparten entre múltiples juicios específicos de cada eje.
¿Puede la política aprendida manejar diferentes dimensiones de preferencia en tiempo de prueba? Sí, la política está condicionada a múltiples dimensiones de preferencia, lo que permite la direccionabilidad en tiempo de prueba donde los usuarios pueden especificar qué ejes optimizar.