Trabajos relacionados
Los métodos existentes pueden detectar fallos, pero sus alarmas no necesariamente llegan a tiempo, aportan información útil o están suficientemente calibradas. VLA-Tug aborda estas limitaciones mediante representaciones que tienen en cuenta los fallos, detección basada en el inicio del fallo y garantías estadísticas conjuntas.
Planteamiento del problema
En esta sección se ofrecen definiciones generales para describir el funcionamiento de los detectores de fallos para modelos de visión-lenguaje-acción (VLA), se formula el problema matemáticamente y se presenta cómo lo aborda VLA-Tug.
Definiciones
Para facilitar la comparación entre métodos, definimos los conceptos de puntuación de fallo, umbral de detección, tiempo de detección, tiempo del fallo y modo de fallo.
- Puntuación de fallo. La puntuación, el valor de creencia de fallo de una sonda en cada paso temporal, codifica la creencia de la sonda de que el VLA está fallando. No tiene por qué ser una probabilidad en sentido estricto.
- Umbral de detección. El umbral, el límite aplicado a las puntuaciones de fallo, permite distinguir los fallos de los casos satisfactorios.
- Tiempo de detección. El tiempo, el primer paso temporal en el que la puntuación cruza el umbral, es el primer momento en que la puntuación cruza dicho umbral.
- Tiempo del fallo. El tiempo, también llamado inicio del fallo, es el momento en que la política comete un error evidente o su progreso se estanca hasta el punto de que se necesita una intervención, humana o de otro tipo.
- Modo de fallo. La etiqueta, una categoría semántica del fallo, es una categoría de alto nivel asignada a cada fallo, como fallo de agarre, fallo de colocación o falta de progreso.
Metodología
VLA-Tug consta de una sonda de fallos y un umbral de alarma calibrado. En las siguientes secciones se describen la sonda y su entrenamiento, y luego se explica cómo se calibra el umbral de alarma y qué garantías ofrece.
Detección de fallos mediante sondeo del espacio latente
A partir de trabajos existentes, implementamos la sonda como una combinación de LSTM y MLP. El objetivo es capturar un patrón no lineal en las representaciones de la red troncal que generalice más allá de los episodios vistos durante el entrenamiento. Presentamos las entradas del modelo, describimos su arquitectura y explicamos la estrategia de entrenamiento.
Evaluación de la capacidad informativa
Esta sección se centra en la predicción de los modos de fallo, un elemento crucial para permitir la prevención de fallos mediante el guiado. Los modos de fallo presentan un fuerte desequilibrio, por lo que presentamos la exactitud equilibrada: la media, entre clases, de la proporción de fallos de cada clase que se predicen correctamente. Como los métodos de referencia existentes no predicen los modos de fallo, comparamos con una línea base de mayoría y nos centramos en LIBERO-X.
En la práctica, la sonda reduce el fallo a tres clases candidatas, entre las que es más probable que se encuentre la clase real que con la línea base de mayoría. Los distintos modos de fallo conllevan riesgos distintos, por lo que un profesional puede usar estas candidatas para elegir el nivel de respuesta; por ejemplo, responder al más arriesgado de los tres modos predichos con una parada, un reintento o el traspaso del control a una persona, en lugar de aplicar la misma intervención a todos los fallos.
Las representaciones de la red troncal contienen suficiente información para predecir la clase de fallo con más acierto que una línea base de mayoría, lo que permite ajustar la respuesta al riesgo predicho.
Consideraciones prácticas
Todo sistema del mundo real debe equilibrar el rendimiento —puntualidad (T), calibración (C) y capacidad informativa (I)— con el coste de desarrollarlo y ejecutarlo (eficiencia, E). Evaluamos los costes de etiquetar el conjunto de datos, entrenar la sonda, calibrarla y ejecutarla durante la inferencia.
Etiquetar cuesta aproximadamente un centavo por episodio fallido (menos de $50 por todas las anotaciones, incluidas las consultas que no se usan en este artículo). Por tanto, las etiquetas son baratas y los profesionales suelen disponer ya de ejecuciones sin etiquetar obtenidas durante el despliegue del sistema.
Demostración de guiado
Demostramos cómo las cuatro propiedades de VLA-Tug —puntualidad, calibración, capacidad informativa y eficiencia— pueden contribuir conjuntamente a prevenir fallos mediante el guiado de VLA. El objetivo es ilustrar cómo un predictor de fallos eficaz puede proporcionar señales para orientar las intervenciones, no desarrollar por sí mismo un método de guiado.
Consideramos una arquitectura de guiado en la que un modelo experto, como un modelo de visión-lenguaje (VLM), puede activar herramientas de recuperación ante fallos en respuesta a las predicciones de la sonda. En nuestros experimentos, implementamos estas herramientas mediante heurísticas específicas para cada modo de fallo en simulación y mostramos las intervenciones correspondientes en un robot real.
Por ejemplo, en una ejecución simulada, la tarea consiste en «colocar el cuenco más grande dentro del compartimento izquierdo del escurridor de cuencos». La sonda activa una alarma antes de que el cuenco se coloque por error en el compartimento de la derecha. Tras guiar el efector final hacia la izquierda, la política se reanuda y la ejecución concluye con éxito. Sin intervención, el cuenco se colocaría a la derecha y la ejecución fallaría.
Nuestros experimentos en el mundo real también demuestran que las propiedades conjuntas de VLA-Tug ayudan a guiar un VLA para alejarlo del fallo. En la tarea «poner el champiñón en el plato», sin VLA-Tug la pinza no alcanza el champiñón y golpea la mesa. Al activar VLA-Tug, la sonda predice el fallo de agarre inminente y se toma una medida correctiva. En este ejemplo, la acción correctiva consiste en pausar el VLA, dejar que un modelo experto desplace la trayectoria hacia una que tenga éxito y reanudar el VLA.
Esta estrategia es posible con un detector de fallos como VLA-Tug, que anticipa el fallo antes de que ocurra, en lugar de detectarlo cuando ya es demasiado tarde. El enfoque no depende de una arquitectura de guiado concreta. La exploración de estrategias de guiado robustas queda para trabajos futuros. Estos ejemplos demuestran la aplicabilidad de VLA-Tug en sistemas robóticos seguros y basados en principios sólidos.
Las demostraciones de prueba de concepto muestran cómo VLA-Tug puede proporcionar la información temporal y sobre los modos de fallo necesaria para realizar intervenciones específicas durante la ejecución de un VLA. La puntualidad crea una oportunidad para intervenir, la calibración determina cuándo se activan las intervenciones, la capacidad informativa orienta la intervención que se aplica y la eficiencia permite que la sonda funcione junto con el VLA.
Conclusión
En primer lugar, las garantías de calibración dependen de la intercambiabilidad entre los episodios de calibración y los de prueba, que disminuye a medida que aumenta el cambio de distribución. Empíricamente, el deterioro es gradual. En segundo lugar, no se analiza sistemáticamente la elección de la representación de la red troncal de origen. En tercer lugar, el componente de guiado, en el que un modelo experto interviene ante un fallo predicho, es heurístico y no se evalúa en este trabajo.
Sonda y entrenamiento
En cada paso de la política, promediamos los tokens de la red troncal de la cámara del agente, la cámara de la muñeca y la instrucción de lenguaje sin relleno, y concatenamos las tres medias en un único vector de características. No se utiliza ninguna otra característica de la red troncal. Todos los modelos de este artículo, incluidas las líneas base, reciben este vector.
Pruebas de referencia y particiones
Usamos la suite 10 de LIBERO-Occ, una extensión de LIBERO que ocluye la cámara de vista del agente. Ambas políticas fallan pocas veces en la prueba de referencia original, por lo que mezclamos episodios con oclusión y sin oclusión a partes iguales para obtener suficientes fallos: 250 de cada tipo por política.
Líneas base
Volvemos a implementar todas las líneas base con las mismas entradas y particiones que nuestra sonda. Cuando una línea base dispone de una cuadrícula de configuraciones, ejecutamos la cuadrícula completa en cada partición y seleccionamos, para cada ajuste, la configuración con la mayor área media en los episodios de validación, sin consultar nunca las tareas no vistas; en caso de empate, se elige la configuración anterior de la cuadrícula.
En LIBERO-10 y con el robot real, agrupamos las ejecuciones para elegir una opción por método. En LIBERO-X, SAFE usa una configuración para los tres tipos de particiones, según su propio protocolo, y todos los demás métodos eligen una configuración para cada tipo de conjunto retenido. Nuestra sonda usa una sola arquitectura en todos los ajustes.
Métricas
La métrica reportada se expresa como porcentaje y se escala de modo que un detector con el comportamiento ideal especificado obtiene 100.
Detalles sobre la capacidad informativa
Esta sección detalla la evaluación de la capacidad informativa.
Los modos de fallo presentan un fuerte desequilibrio, por lo que presentamos la exactitud equilibrada: la media entre clases de la proporción de fallos de cada clase que se predicen correctamente. Fusionamos repetidamente las dos clases más pequeñas, una vez por conjunto de datos, hasta que cada clase representa al menos el 5% de los fallos. La regla solo utiliza las frecuencias de las etiquetas. No se vuelve a entrenar la cabeza de modos: una clase fusionada recibe la suma de las probabilidades de sus modos.
La exactitud se calcula sobre las predicciones agrupadas de las particiones de un mismo ajuste, ya que una partición contiene pocos fallos de una clase poco frecuente. Excluimos LIBERO-10 porque tiene muy pocos fallos para calcular la exactitud por clase: incluso tras la fusión, sus clases más pequeñas contienen solo entre 6 y 16 fallos, por lo que un único fallo modifica la exactitud de una clase en varios puntos.
Coste y latencia
Esta sección detalla la evaluación de las consideraciones prácticas.
Estudios de ablación
Realizamos ablaciones de la estrategia de supervisión, las cabezas auxiliares y el tiempo del fallo utilizado para la evaluación.
Demostraciones de guiado
El guiado solo se usa para mostrar cómo podría aprovecharse la señal de VLA-Tug; las heurísticas son sencillas y no se evalúan. Cuando la puntuación cruza el umbral calibrado, se pausa la política, se aplica una intervención elegida según el modo de fallo predicho y se reanuda la política.
Implementamos tres heurísticas para LIBERO-X. Ante un fallo de objetivo incorrecto o de colocación/inserción, el efector final se desplaza una pequeña distancia hacia el destino. Ante un fallo de agarre, se desplaza lateralmente, en perpendicular a su movimiento reciente. Para cualquier otro modo predicho, la política vuelve a planificar desde el estado actual.
En la tarea «colocar la taza blanca y amarilla encima de la estantería», tras la alarma la sonda predice el modo de fallo, se aplica la intervención correspondiente y la política se reanuda y completa la tarea con éxito. Sin intervención, la taza se coloca sobre la mesa y la tarea falla.
Preguntas frecuentes
¿Qué usa como entrada la sonda de VLA-Tug?
En cada paso de la política, concatena los tokens medios de la red troncal de la cámara del agente, la cámara de la muñeca y la instrucción de lenguaje sin relleno. No utiliza ninguna otra característica de la red troncal.
¿Cómo define VLA-Tug el tiempo del fallo?
El tiempo del fallo, o inicio del fallo, es el momento en que la política comete un error evidente o el progreso se estanca lo suficiente como para que se necesite una intervención.
¿Cómo ayuda la sonda a elegir una respuesta ante un fallo?
Reduce el fallo a tres clases candidatas, lo que puede ayudar a los profesionales a elegir una intervención adecuada al riesgo predicho.
¿Cuáles son las limitaciones de las demostraciones de guiado?
Las heurísticas de guiado son sencillas y no se evalúan como estrategias de guiado robustas. Además, las garantías de calibración dependen de la intercambiabilidad entre los episodios de calibración y los de prueba.