En los últimos años, el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) se ha convertido en la técnica dominante para alinear los agentes de toma de decisiones con las intenciones humanas. La facilidad con la que se puede proporcionar retroalimentación mediante preferencias ha sido un factor decisivo de su popularidad como fuente de datos para modelar recompensas. Sin embargo, como cada respuesta aporta como máximo un bit de información, esta modalidad también es conocida por su baja eficiencia muestral. Pedir a una persona que responda miles de preguntas comparativas para aprender un modelo de recompensas rara vez resulta escalable.
Hasta donde sabemos, este es el primer trabajo que emplea el filtrado en subespacios para entrenar modelos neuronales de recompensas a partir de retroalimentación mediante preferencias. Comparamos PreferenceEKF con cuatro métodos bayesianos de aprendizaje profundo ampliamente utilizados para el aprendizaje activo de recompensas basado en preferencias en tareas de control continuo. También evaluamos si los modelos de recompensas aprendidos resultan útiles para optimizar políticas en tareas de aprendizaje por refuerzo offline. Los experimentos se realizan con los benchmarks D4RL y V-D4RL.
Los resultados son los siguientes:
- PreferenceEKF iguala o supera a todas las líneas base bayesianas de aprendizaje profundo en eficiencia muestral y calibración en tareas de modelado de preferencias.
- El tiempo de ejecución de PreferenceEKF no solo es mucho menor, sino que además escala mejor tanto con el tamaño del modelo como con el número de muestras posteriores que el de los demás métodos.
- Al utilizarse para optimizar políticas, los modelos de recompensas aprendidos con PreferenceEKF producen políticas cuyo rendimiento es competitivo con el de las políticas optimizadas mediante modelos de recompensas aprendidos con otros métodos.
¿PreferenceEKF mejora la calibración del modelo?
PreferenceEKF presenta el menor error esperado de calibración (ECE) de todos los métodos y la segunda puntuación Brier más baja, solo por detrás de active DeepEnsemble. Esto pone de relieve la calidad de la aproximación posterior obtenida mediante métodos de inferencia en subespacios frente a las demás líneas base bayesianas de aprendizaje profundo. En la Sección A.2.12 se ofrecen más detalles sobre los experimentos de calibración y los diagramas de fiabilidad.
Estudio de ablación sobre la construcción del subespacio
Cuando no se dispone de un conjunto de datos inicial, la inicialización de las creencias mediante proyección aleatoria suele bastar para obtener un buen rendimiento en el aprendizaje de recompensas. Este resultado elimina por completo la dependencia de PreferenceEKF del descenso de gradiente estocástico.
Para mantener la coherencia, salvo que se indique lo contrario, los experimentos principales con PreferenceEKF emplean el enfoque basado en la descomposición en valores singulares (SVD), que depende del descenso de gradiente estocástico.
¿Puede PreferenceEKF aprender a partir de imágenes y de una retroalimentación escasa mediante preferencias?
Los experimentos principales demuestran la eficacia de PreferenceEKF en tareas de control basadas en estados, en las que las etiquetas de preferencia se generan sintéticamente comparando la suma de las recompensas densas de dos trayectorias.
El método también se aplica a otros dos escenarios exigentes, aunque habituales:
- Retroalimentación comparativa escasa.
- Control basado en píxeles.
Impacto más amplio
Este trabajo presenta un algoritmo para el aprendizaje activo en el modelado de recompensas basado en preferencias, que mejora la eficiencia y la precisión del entrenamiento de redes neuronales en aplicaciones que requieren evaluaciones humanas subjetivas, como el procesamiento del lenguaje natural, las recomendaciones personalizadas y la interacción entre humanos y robots.
Al optimizar la recopilación de datos en torno a preferencias inciertas o de gran impacto, el enfoque puede reducir los costes de etiquetado y mejorar la alineación de los modelos con las intenciones humanas.
Sin embargo, trabajar en un subespacio reducido y realizar la inferencia mediante el filtro de Kalman extendido puede introducir deficiencias en el modelado de preferencias, como la amplificación de sesgos o la omisión de las preferencias de minorías. Para mitigar estos riesgos, las investigaciones futuras deberían estudiar la robustez de PreferenceEKF y la posible pérdida de información causada por la reducción al subespacio.
Agradecimientos
Los autores agradecen a Aleyna Kara las conversaciones iniciales sobre el método.
Yutai Zhou recibió apoyo parcial de una beca del USC–Capital One Center for Responsible AI and Decision Making in Finance (CREDIF). Erdem Bıyık reconoce la financiación del Airbus Institute for Engineering Research (AIER).
Uso de LLM
Los LLM se utilizaron principalmente para escribir scripts de visualización en Python, componer figuras y tablas en LaTeX, buscar trabajos relacionados con métodos de construcción de subespacios y depurar errores de compilación de JAX y de carga de modelos.
Los LLM no se utilizaron para redactar el artículo, idear la investigación ni implementar los componentes fundamentales del algoritmo.
Preguntas frecuentes
¿Qué es PreferenceEKF?
PreferenceEKF es un método que utiliza el filtrado en subespacios para entrenar modelos neuronales de recompensas a partir de retroalimentación mediante preferencias.
¿Cómo se compara PreferenceEKF con otros métodos bayesianos de aprendizaje profundo?
Iguala o supera a las líneas base bayesianas de aprendizaje profundo evaluadas en eficiencia muestral y calibración del modelo de preferencias.
¿Qué resultados de calibración obtiene PreferenceEKF?
PreferenceEKF presenta el menor error esperado de calibración y la segunda puntuación Brier más baja entre los métodos evaluados.
¿Puede PreferenceEKF trabajar con preferencias escasas y datos de imágenes?
El método se aplica a la retroalimentación comparativa escasa y al control basado en píxeles, además de a tareas de control basadas en estados.