A menudo, las intenciones humanas no especifican suficientemente las acciones del robot. RoboPrompt convierte indicaciones humanas escasas en propuestas de acción que las políticas posteriores pueden refinar usando sus conocimientos previos sobre la tarea. Lo hace en dos fases. La Fase I utiliza un modelo ligero de guiado para traducir puntos, trazos e instrucciones direccionales generales en propuestas de acción continuas. La Fase II refina estas propuestas mediante el proceso de eliminación de ruido de la política posterior, equilibrando la intención humana con los conocimientos previos de la política, sin ajustar la política ni modificar su arquitectura.
Arquitectura del sistema
El sistema utiliza un modelo ligero de guiado para convertir las indicaciones humanas en propuestas de acción continuas y, después, las refina mediante el proceso de eliminación de ruido de la política posterior.
¿Puede RoboPrompt guiar políticas hacia distintos objetivos de tarea?
Los experimentos de guiado utilizan Diffusion Policy (DP), una política no especificada y FastWAM. Cada política se entrena con datos que contienen tres objetivos de tarea distintos, lo que da lugar a una distribución multimodal de la política. RoboPrompt especifica el objetivo de tarea deseado en el momento de la inferencia.
Sin guiado, las políticas multimodales aprendidas muestran preferencias distintas entre los tres objetivos de tarea válidos. Los porcentajes de una política determinada no suman 100 por ciento porque algunos ensayos fallan antes de alcanzar cualquier objetivo durante la inferencia; esos fallos se excluyen de la distribución de preferencias por tarea.
¿Puede RoboPrompt ayudar a mejorar las políticas mediante DAgger?
La mejora es significativa en distintas tareas. Cada ronda de DAgger aumenta la tasa de éxito de la tarea y reduce el número de intervenciones de guiado necesarias en la ronda siguiente. Esto indica que una política con un rendimiento inicial moderado y que requiere intervenciones humanas frecuentes puede avanzar gradualmente hacia una ejecución totalmente autónoma en solo unas pocas iteraciones de DAgger.
DP y FastWAM también se evalúan con el mismo protocolo DAgger en la tarea del pan, y muestran la misma tendencia: las rondas adicionales de DAgger mejoran el progreso en la tarea y reducen la cantidad de guiado necesario durante el despliegue. En conjunto, estos resultados sugieren que RoboPrompt facilita que los usuarios corrijan el comportamiento de la política mediante indicaciones escasas e intuitivas, al tiempo que conserva la capacidad de DAgger para mejorarla.
¿Cómo afectan las dinámicas de eliminación de ruido al guiado de RoboPrompt?
Tanto en las políticas basadas en correspondencia de flujo como en las basadas en difusión, los cambios en las acciones no se distribuyen uniformemente entre los pasos de eliminación de ruido. Un número reducido de pasos puede modificar considerablemente la acción, mientras que los pasos finales, en niveles más altos de eliminación de ruido, están cerca de la convergencia y producen solo cambios menores. Por tanto, aumentar sin más el nivel de eliminación de ruido no proporciona un control lineal entre la acción de la Fase I y la salida de la política base.
NA-FRS cambia este comportamiento al invertir las dinámicas de la política desde la acción de la Fase I antes del refinamiento y, después, inyectar ruido aleatorio controlado. El componente inverso mantiene la acción refinada cerca de la propuesta de la Fase I, mientras que el componente de ruido permite que la trayectoria recupere el comportamiento de la eliminación de ruido a partir de ruido puro a medida que aumenta el nivel de eliminación de ruido. Juntos, producen una transición de acciones más suave y casi lineal entre los distintos niveles de eliminación de ruido.
¿Pueden los usuarios primerizos guiar políticas robóticas de forma intuitiva?
Para evaluar la facilidad de uso para usuarios primerizos, se reclutó a seis voluntarios sin experiencia previa con el sistema. Tras una breve introducción de cinco minutos, cada participante realizó cinco ensayos de la tarea de inserción del pan usando la política de tostadora de la Ronda 0 no especificada. Se compararon el progreso medio en la tarea y el número de intervenciones con los de usuarios experimentados.
Los usuarios primerizos lograron un progreso en la tarea comparable al de los usuarios experimentados y muy superior al de la referencia sin guiado, lo que sugiere que RoboPrompt permite a los nuevos usuarios guiar políticas robóticas de forma intuitiva. Los usuarios experimentados necesitaron menos intervenciones; su familiaridad con la política les ayudó a anticipar y evitar fallos, en lugar de tener que recuperarse de ellos.
¿Cómo afecta la calidad de los datos de ejecución a la mejora de la política?
Se comparó el entrenamiento DAgger con 20 trayectorias exitosas seleccionadas al azar (sin filtrar) o mediante Time-weighted Optimal Transport (TOT; filtradas). En ambos casos se utiliza una ronda de entrenamiento y se evalúan tres tareas.
Los datos filtrados con TOT producen un mayor progreso en la tarea en las tres tareas. Los datos sin filtrar aumentan las sacudidas del movimiento, lo que puede provocar fallos o intervenciones adicionales; por tanto, una ejecución exitosa por sí sola no garantiza la calidad del entrenamiento. TOT conserva trayectorias más suaves y acordes con la intención humana, lo que mejora el rendimiento de la política y reduce el número de intervenciones de guiado.
Conclusiones y limitaciones
RoboPrompt es un sistema para guiar políticas robóticas mediante indicaciones humanas escasas e intuitivas. Al aprovechar las propiedades de la difusión y la correspondencia de flujo, permite a usuarios no expertos guiar intuitivamente el comportamiento de la política y mejorar su rendimiento de forma iterativa usando datos recopilados de ejecuciones guiadas.
El método de guiado dirige eficazmente la pose del efector final, pero todavía no permite controlar efectores finales diestros, en particular manos con varios dedos. El módulo de guiado de la Fase I no se limita a configuraciones robóticas ni entornos específicos. En trabajos futuros se podría explorar el entrenamiento con conjuntos de datos más grandes y diversos para permitir el guiado de cero disparos en una gama más amplia de tareas.
Preguntas frecuentes
¿Cómo convierte RoboPrompt las indicaciones escasas en acciones robóticas? Un modelo ligero de guiado convierte puntos, trazos e instrucciones direccionales generales en propuestas de acción. Después, una política posterior refina esas propuestas mediante su proceso de eliminación de ruido.
¿Puede RoboPrompt guiar una política hacia un objetivo de tarea seleccionado? Sí. Especifica el objetivo deseado en el momento de la inferencia para políticas entrenadas con datos que contienen tres objetivos distintos.
¿Cómo afecta DAgger a la necesidad de guiado humano? En los experimentos descritos, las rondas adicionales de DAgger mejoran el éxito o el progreso en la tarea y reducen el guiado necesario en los despliegues posteriores.
¿Qué limitación señala el artículo? El método guía la pose del efector final, pero todavía no permite controlar efectores finales diestros, en particular manos con varios dedos.