Los modelos de visión-lenguaje-acción (VLA) convierten observaciones visuales e instrucciones lingüísticas en acciones robóticas y muestran una gran capacidad para la manipulación robótica. Una ejecución fiable también requiere reconocer si una tarea sigue en curso, se ha completado con éxito o ha fallado, para que el sistema pueda decidir cuándo continuar, detenerse o intervenir. Los métodos existentes predicen señales de progreso, finalización o fallo dentro de las políticas VLA o mediante modelos externos de monitorización.
Sin embargo, los enfoques actuales presentan dos limitaciones. Aprender e integrar estas señales puede requerir supervisión detallada a nivel de fotograma, modelos externos de monitorización o diseños arquitectónicos complejos. Además, las señales predichas suelen utilizarse únicamente para la monitorización, por lo que no se ha explorado suficientemente su potencial para mejorar la generación de acciones.
Para aprender estas señales sin anotaciones de progreso a nivel de fotograma, Echo combina demostraciones exitosas, ejecuciones de políticas fallidas, segmentos de fallo previos a la intervención y demostraciones de recuperación. Emplea indicaciones a nivel de subtarea junto con etiquetas de éxito o fallo. Las ejecuciones fallidas y los segmentos de fallo previos a la intervención supervisan, respectivamente, los fallos terminales y los recuperables, mientras que sus acciones se excluyen de la imitación. Las demostraciones de recuperación asocian una supervisión de estado similar con acciones correctivas en los estados de fallo recuperables correspondientes, vinculando el reconocimiento del fallo con el comportamiento de recuperación.
Para utilizar la información de estado aprendida durante la generación de acciones, Echo controla las interacciones entre las señales de parada (SS), las señales de fallo (FS) y las acciones robóticas, al tiempo que mantiene predicciones precisas y complementarias de las señales. También introduce el desruido asíncrono: los tokens de señal se desruidan más rápido que los tokens de acción, de modo que los pasos posteriores de desruido de acciones se condicionan a estimaciones de estado más limpias. Cuando la política reconoce un fallo recuperable con valores bajos de SS y elevados de FS, esas estimaciones, junto con las observaciones actuales, pueden guiar la generación de acciones hacia un comportamiento correctivo aprendido de las demostraciones de recuperación.
Los experimentos en cinco tareas de manipulación del mundo real demuestran una predicción precisa del estado de la tarea y un rendimiento superior al de las referencias que solo predicen acciones, con mejoras mayores fuera de distribución. Las ablaciones de componentes, las intervenciones sobre las señales y los análisis de escalado de los datos de fallos examinan cómo influyen las señales de estado en la generación de acciones y cómo contribuyen las distintas fuentes de datos a la predicción y la ejecución.
Las contribuciones son tres: una representación compacta del estado de la tarea que integra señales de parada y fallo en bloques de acciones VLA con un coste adicional mínimo en parámetros; un esquema de supervisión que aprende estas señales a partir de datos de éxito, fallo y recuperación sin anotaciones de progreso a nivel de fotograma; e interacciones controladas con desruido asíncrono para vincular la predicción del estado con la generación de acciones.
Conceptos preliminares
Un bloque muestreado puede extenderse más allá del segmento actual, entrar en una subtarea posterior o superar la duración del episodio. La expresión el último instante de acción válido del segmento designa el último instante de acción válido de dicho segmento. Una máscara de relleno identifica las posiciones que quedan más allá de este límite.
En las posiciones de relleno, se repite el objetivo de acción válido más reciente. Además de excluir las acciones que exceden el segmento actual, el relleno proporciona de forma natural etiquetas de señal basadas en los límites. Por ejemplo, cuando un segmento termina al completarse la tarea, su máscara de relleno indica dónde debe predecirse la parada. Echo combina esta máscara con el tipo de segmento para construir objetivos de señales de estado de la tarea sin anotaciones adicionales de progreso a nivel de fotograma.
Experimentos
Los experimentos presentan los resultados principales y comparaciones con métodos existentes para evaluar la precisión de las señales de estado de la tarea de Echo y sus beneficios para la ejecución. A continuación, analizan el rendimiento dentro de distribución (ID) y fuera de distribución (OOD), y realizan ablaciones de los componentes del modelo. Por último, intervienen en las señales para verificar su efecto en la generación de acciones y varían la cantidad de datos de fallos para examinar la función de las distintas fuentes de datos.
Configuración experimental
Salvo que se indique lo contrario, las evaluaciones utilizan 30 ensayos por modelo y tarea, umbrales para las señales de parada y de fallo, y una ventana de decisión de 15 fotogramas (3 segundos con un intervalo de inferencia de 0.2 segundos). Los resultados se presentan como la media con error estándar; las puntuaciones F1 se expresan como porcentajes. Las reglas de puntuación, anotación y decisión de resultados se detallan en el protocolo de evaluación que aparece más adelante.
Análisis de ablaciones y mecanismos
El análisis investiga por qué Echo mejora la ejecución y en qué situaciones resultan más útiles las señales que aprende. Compara condiciones ID y OOD, realiza ablaciones de la arquitectura señal–acción, interviene directamente en las señales y varía la cantidad de datos de fallos terminales.
Para Insertar flor y Abrir cajón, los resultados principales se desglosan en condiciones ID y OOD, con 15 ensayos en cada una. Las mejoras de Echo son mayores en condiciones OOD, mientras que las diferencias ID son moderadas y dependen de la tarea. La predicción del estado se mantiene relativamente estable: el rendimiento a nivel de fotograma cambia de forma moderada y el rendimiento a nivel de trayectoria disminuye ligeramente cuando cambia la distribución.
Las demostraciones exitosas ponen el énfasis en la ejecución habitual, mientras que las demostraciones de recuperación destacan el ajuste y la corrección. Los autores plantean la hipótesis de que las señales de estado dirigen la política hacia estos últimos comportamientos cuando cambia la distribución. Las intervenciones en las señales ponen a prueba directamente esta hipótesis.
Conclusiones
Echo es un marco compacto que desruida conjuntamente acciones y señales de estado de la tarea dentro de un único modelo VLA. Aprende de datos de éxito, fallo y recuperación sin anotaciones de progreso a nivel de fotograma, y guía la generación de acciones mediante interacciones controladas y desruido asíncrono. Los experimentos en cinco tareas del mundo real demuestran una predicción precisa del estado y una mayor finalización de tareas, lo que respalda el uso de señales de estado tanto para la monitorización como para la generación de acciones.
Declaración sobre el uso de IA
Se utilizaron herramientas de IA generativa para mejorar la claridad, la gramática y la legibilidad del manuscrito. Los autores revisaron todas las modificaciones asistidas por IA y asumen plena responsabilidad por el contenido final.
Plataforma robótica y detalles de las tareas
La recopilación de datos y el despliegue de la política se realizan con un robot humanoide con ruedas, dos brazos de siete grados de libertad, efectores finales con pinza y un mecanismo de cintura y piernas con seis grados de libertad. La base móvil permanece inmóvil durante la ejecución de las tareas. La política controla un total de 20 grados de libertad mediante los efectores finales de los dos brazos, las pinzas y el mecanismo de cintura y piernas. Las observaciones visuales proceden de tres cámaras RGB: una en la cabeza y una en cada muñeca.
Protocolo de evaluación y puntuación de tareas
Cada episodio tiene una puntuación máxima de tarea de 10. Los episodios exitosos reciben 10 puntos antes de aplicar las deducciones específicas de cada tarea. Los episodios fallidos reciben 0 puntos, excepto en Preparar tanghulu, cuando se consigue insertar el espino, pero este se cae de la brocheta después de soltarlo; esos episodios fallidos reciben 5 puntos como crédito parcial.
En Insertar flor e Insertar bolígrafo, cada contacto conlleva una deducción de un punto, hasta un máximo de tres puntos. En Juguete cápsula y Abrir cajón, cada intento de agarre vacío conlleva una deducción de un punto, hasta un máximo de cinco puntos.
Proporción de muestreo de datos
Para cada tarea, la proporción de muestreo de entrenamiento es la proporción asignada, respectivamente, a los datos de éxito, fallo, fallo previo a la intervención y recuperación.
Implementación, hiperparámetros y coste de inferencia
Para los bloques que contienen relleno, ambos pesos de la pérdida de señales se fijan en 1, siguiendo la regla de supervisión del texto principal.
Implementación del experimento motivador
El experimento motivador examina cómo evolucionan las estimaciones intermedias de acciones y estado durante el desruido síncrono. Su propósito es determinar cuándo está disponible la información de estado antes de introducir el esquema asíncrono.
La referencia desruida de forma síncrona las acciones, SS y FS, asignando el mismo tiempo de flujo a los tres grupos.
Implementaciones de referencia y análisis del rendimiento
El artículo compara, en Insertar flor, una referencia que solo predice acciones y no utiliza señales de parada ni de fallo, CycleVLA, VLA-Corrector, Robometer y Echo. Esta sección distingue los métodos originales de las adaptaciones realizadas para la configuración experimental.
La referencia utiliza los mismos datos de supervisión de acciones exitosas y de recuperación que Echo, con la misma configuración del optimizador y el mismo número de pasos de entrenamiento. Predice acciones sin SS ni FS, por lo que no se le asignan métricas de estado. Durante la implementación, se mantuvieron coherentes con Echo los parámetros clave, incluidos los datos de entrenamiento, la tasa de aprendizaje del modelo y el optimizador. El modelo se entrenó durante el mismo número de pasos, hasta converger.
Sensibilidad a los hiperparámetros
En general, el rendimiento a nivel de fotograma es más sensible al umbral de SS que al umbral de FS en los intervalos evaluados. Por ejemplo, Juguete cápsula pasa de 98.1 con un umbral de SS de 0.1 a 88.3 con un umbral de 0.5, mientras que permanece sin cambios en los umbrales de FS evaluados. Las demás tareas también muestran cambios relativamente moderados en función del umbral de FS, aunque el umbral de SS óptimo varía de una tarea a otra. Por tanto, una única configuración de umbrales no maximiza la puntuación F1 a nivel de fotograma para todas las tareas.
Compatibilidad con la monitorización externa y la planificación
Echo mejora la propia política VLA al permitir que la información aprendida sobre el estado de la tarea participe en la generación de acciones. Este objetivo es compatible con módulos externos de monitorización, recuperación y planificación. SS y FS también pueden proporcionar información sobre el estado de la ejecución a un controlador de nivel superior, de acuerdo con la semántica de las señales definida en el texto principal.
Un controlador externo podría combinar estas señales con un contexto temporal más amplio u observaciones adicionales para verificar la finalización, solicitar una intervención o volver a planificar. Echo proporciona estimaciones de estado internas a la política y generación de acciones correctivas, mientras que el módulo externo añade su propia lógica de decisión. Esta es una compatibilidad arquitectónica; la mejora del rendimiento de un sistema combinado concreto requiere una evaluación independiente.
Experimentos de simulación
Los experimentos en el mundo real se complementan con un estudio de simulación de tres tipos basado en LIBERO y LIBERO-Recovery. Este estudio evalúa tanto la finalización de tareas desde estados de recuperación como la predicción del estado de la tarea mediante comprobaciones de éxito del simulador.
Preguntas frecuentes
¿Qué predice Echo además de las acciones robóticas? Echo predice señales de parada y de fallo que indican el estado de la tarea.
¿Qué datos utiliza Echo para aprender las señales de estado de la tarea? Combina demostraciones exitosas, ejecuciones de políticas fallidas, segmentos de fallo previos a la intervención y demostraciones de recuperación.
¿Cómo utiliza Echo las señales de estado de la tarea durante la generación de acciones? Controla las interacciones entre las señales de estado y las acciones, y desruida los tokens de señal más rápido, lo que permite que los pasos posteriores de desruido de acciones utilicen estimaciones de estado más limpias.
¿Qué robot y qué tareas se utilizaron en los experimentos del mundo real? Los experimentos utilizaron un humanoide con ruedas y base estacionaria, dos brazos y tres cámaras RGB en cinco tareas de manipulación del mundo real.