Sondas de progreso frente a VLM como monitores en tiempo de ejecución
Estudiamos cómo se compara nuestra sonda de progreso ligera con los VLM de propósito general como monitores en tiempo de ejecución.
Para calibrar la capa de progreso, ejecutamos Robometer con las mismas trayectorias de entrenamiento que se usaron para la sonda de progreso y agregamos las curvas de progreso predichas para cada tarea, definiendo el progreso nominal a partir de las propias predicciones de Robometer en trayectorias exitosas. Evaluamos dos variantes: Robometer-ZS (cero disparo) y Robometer-FT, ajustado con el mismo conjunto de datos de éxitos y fallos utilizado para entrenar SAFE.
Capacidad de discriminación mediante la detección de fallos
Evaluamos si las sondas de progreso pueden ampliarse para monitorizar una política VLA del mundo real, midiendo su capacidad para distinguir entre ejecuciones exitosas y fallidas cuando se despliegan en el robot real.
Método. Evaluamos cada referencia con el conjunto de datos de evaluación en hardware y pedimos al monitor que determine (a) si el episodio completo corresponde a una ejecución exitosa o fallida mediante agregación máxima y (b), dada una trayectoria, si el paso temporal actual corresponde a un estado exitoso o fallido.
Conclusiones y limitaciones
Presentamos las sondas de progreso, un método ligero de monitorización en tiempo de ejecución que decodifica linealmente el progreso de la tarea a partir de las activaciones internas de un VLA. En experimentos de simulación y con hardware, las sondas de progreso ofrecen un rendimiento competitivo en la monitorización de fallos y son considerablemente más eficientes desde el punto de vista computacional que los monitores existentes basados en VLM. Estos resultados sugieren que el progreso de la tarea codificado en las activaciones de un VLA constituye una señal sencilla pero eficaz para monitorizar fallos en tiempo de ejecución.
Preguntas frecuentes
¿Qué monitorizan las sondas de progreso? Decodifican el progreso de la tarea a partir de las activaciones internas de un VLA para facilitar la monitorización de fallos en tiempo de ejecución.
¿Cómo se utiliza Robometer en la evaluación? Las curvas de progreso predichas por Robometer en trayectorias exitosas definen el progreso nominal. El estudio evalúa variantes de Robometer de cero disparo y ajustadas con datos.
¿Qué configuraciones de detección de fallos se evalúan en el robot real? El monitor clasifica episodios completos mediante agregación máxima y clasifica los pasos temporales actuales como estados exitosos o fallidos.
¿Cómo se comparan las sondas de progreso con los monitores basados en VLM en términos computacionales? Ofrecen un rendimiento competitivo en la monitorización de fallos y son considerablemente más eficientes desde el punto de vista computacional que los monitores existentes basados en VLM.