AutoIntervene es un marco de intervención en línea diseñado para mejorar la fiabilidad durante el despliegue de políticas basadas en bloques de acciones. Evalúa cada bloque de acciones propuesto comparándolo con el soporte visual-acción asociado a ejecuciones exitosas y transfiere el control cuando la propuesta deja de contar repetidamente con ese respaldo. Las referencias locales a cada fase determinan cuándo el control debe pasar de la política al operador, mientras que las referencias globales determinan cuándo debe volver a la política. Así, la autonomía puede reanudarse desde cualquier fase de la tarea respaldada por los datos, una vez que el operador ha corregido la ejecución. En cada ronda de adaptación, los umbrales de conmutación se calibran por separado fuera de línea: para ello, se recalculan las propuestas y las puntuaciones de soporte sobre demostraciones expertas exitosas reservadas, aplicando el ámbito de recuperación correspondiente.
Las contribuciones de este trabajo son tres:
- Un marco de intervención bidireccional para políticas de imitación basadas en bloques de acciones, que emplea soporte local de fase para transferir el control de la política al operador y soporte global para devolverlo a la política.
- Un procedimiento de calibración visual-acción específico para cada modo, que utiliza demostraciones expertas exitosas reservadas para recalcular umbrales independientes de intervención y recuperación en cada ronda de adaptación, dentro de sus respectivos ámbitos de recuperación.
- Una evaluación de AutoIntervene en nueve tareas reales, que demuestra que las trayectorias de intervención dirigida permiten mejorar iterativamente la política con mucho menos tiempo bajo control del operador que la recopilación de demostraciones completas adicionales.
Trabajo relacionado
Aprendizaje interactivo por imitación
La adaptación interactiva de políticas suele depender de que un operador supervise la ejecución, decida manualmente cuándo intervenir y determine cuándo devolver el control. En cambio, los métodos con intervención activada por el robot solicitan la intervención automáticamente a partir de señales obtenidas durante el despliegue. LazyDAgger utiliza la discrepancia entre las acciones de la política y las del experto para activar la intervención de este último, mientras que RND-DAgger emplea la novedad del estado estimada mediante destilación de redes aleatorias.
AutoIntervene sigue esta línea de métodos activados por el robot, pero trata la transferencia de control como un proceso bidireccional basado en el soporte: el soporte local de fase rige la transferencia de la política al operador, el soporte global rige el retorno del operador a la política y los segmentos de recuperación conservados proporcionan datos correctivos para posteriores adaptaciones de la política.
AutoIntervene
Configuración de control
El ciclo de intervención se implementa mediante teleoperación líder-seguidor al estilo ALOHA, con reflexión de fuerzas en el lado de los brazos siguiendo el enfoque de TriPilot-FF. Los brazos líderes reciben las órdenes del operador, mientras que los brazos seguidores interactúan con la tarea.
Bajo el control de la política, los brazos líderes y seguidores reciben las mismas órdenes articulares y de pinza generadas por la política, y permanecen sincronizados. Cuando el control pasa al operador, cada brazo seguidor cambia a un modo de seguimiento del brazo líder correspondiente manipulado por el operador, lo que permite iniciar la corrección sin tener que recolocar los brazos líderes.
Construcción de consultas visual-acción
En el sistema bimanual, las órdenes se agrupan por brazo:
- Un grupo contiene las órdenes articulares y de pinza del brazo izquierdo.
- El otro contiene las órdenes correspondientes del brazo derecho.
En conjunto, las incrustaciones visuales y el prefijo de acciones predicho forman la consulta visual-acción.
La consulta visual-acción combina representaciones visuales con la secuencia predicha de próximas acciones del robot.
La intervención dirigida mejora la adaptación de la política
En el banco de pruebas de siete tareas, la intervención dirigida mejora de forma constante la adaptación de la política. Después de dos rondas, tanto Human como AutoIntervene superan, en conjunto, a la política Initial y a Additional Full Data.
AutoIntervene logra la mejora más destacada: incrementa en 49,1 puntos porcentuales la tasa media de éxito en las distintas tareas, con avances en las siete tareas. Estos resultados respaldan AutoIntervene como un método eficaz para recopilar supervisión correctiva dirigida a partir de estados de fallo provocados por la propia política en aprendizaje.
La conmutación automática permite una adaptación más eficiente de la política
Dos ciclos política-operador-política dentro de una única trayectoria de Peg Disassembly ilustran que AutoIntervene puede recopilar varios segmentos de intervención a partir de una sola ejecución.
Adaptación con cabezales ACT, Diffusion y Flow Matching
Para comprobar si AutoIntervene se extiende más allá de ACT, se sustituye el cabezal de acciones ACT por cabezales de Diffusion Policy y Flow Matching, manteniendo sin cambios la red troncal compartida, las interfaces del robot y el monitor.
Los tres cabezales de acciones mejoran en rondas sucesivas de adaptación, y sus políticas R3 superan tanto a las políticas Initial como a Additional Full Data. Por tanto, AutoIntervene se transfiere entre distintos mecanismos de generación de acciones sin modificaciones específicas para cada cabezal.
Conclusión
AutoIntervene combina la monitorización visual-acción local a cada fase, la transferencia bidireccional de control y la agregación de datos de intervención. En nueve tareas bimanuales reales, mejoró las políticas en rondas sucesivas con menos datos de control adicionales que las demostraciones completas, alcanzó una tasa media de éxito superior a la de la conmutación manual y requirió, en promedio, menos tiempo bajo control del operador.
Junto con criterios calibrados por separado para ambas direcciones de conmutación, estos componentes concentran el control del operador en los periodos sin soporte y reanudan la autonomía cuando la propuesta de la política vuelve a contar con respaldo en las demostraciones. Como trabajo futuro, se ampliará la calibración en línea a un conjunto más amplio de tareas, perturbaciones y operadores.
Preguntas frecuentes
¿Qué es AutoIntervene?
AutoIntervene es un marco de intervención en línea diseñado para mejorar la fiabilidad durante el despliegue de políticas de imitación basadas en bloques de acciones.
¿Cómo decide AutoIntervene cuándo transferir el control al operador?
Utiliza el soporte visual-acción local a la fase y transfiere el control cuando la acción propuesta deja de contar repetidamente con respaldo.
¿Cómo vuelve el control a la política?
El soporte global determina cuándo se produce la transferencia del operador a la política, lo que permite reanudar la autonomía desde una fase de la tarea respaldada por los datos una vez realizada la corrección.
¿Qué mecanismos de generación de acciones admite AutoIntervene?
Se transfiere entre cabezales de ACT, Diffusion Policy y Flow Matching sin modificaciones específicas para cada cabezal.