Trabajos relacionados
Estimación de la incertidumbre
Las aproximaciones bayesianas, los ensamblajes profundos y la predicción selectiva producen puntuaciones de incertidumbre o abstención, mientras que la robótica clásica representa y propaga estados probabilísticos. Por lo general, estos métodos no ofrecen una cobertura finita y libre de distribución para un nivel de error elegido.
Formulación del problema
En esta sección se formula la navegación visual y lingüística como una clasificación secuencial en un grafo discreto, se definen las tres puntuaciones de no conformidad utilizadas habitualmente en la predicción conforme y se muestra por qué la calibración sobre pasos agrupados no proporciona cobertura a nivel de trayectoria. Una condición experimental es un par política-dataset.
Por qué la predicción conforme dividida se degenera en este caso
La predicción conforme dividida supone que las puntuaciones de calibración y de prueba son intercambiables. Sin embargo, la intercambiabilidad al nivel de episodios completos no implica, por lo general, la intercambiabilidad de los pasos individuales obtenidos al agrupar pasos de distintos episodios.
Dentro de un episodio, los pasos son estadísticamente dependientes debido a que comparten el historial de acciones y observaciones; la duración de los episodios puede variar; y las acciones pueden influir causalmente en las observaciones posteriores, lo que vulnera aún más la intercambiabilidad paso a paso. Además, las garantías de cobertura marginal para un único paso no implican una cobertura simultánea para todos los pasos de un episodio.
Por consiguiente, la sección siguiente define una transformación que asigna a cada episodio una única puntuación de calibración.
Una puntuación de calibración por episodio
Para el episodio de calibración [the calibration episode], de longitud [the episode length], la predicción conforme normalizada por episodio calcula [one calibration score for the episode].
Cada episodio aporta un único número, independientemente de su duración. Se requiere intercambiabilidad entre episodios, pero no se formula tal supuesto para los pasos dentro de un episodio.
En la predicción conforme normalizada por episodio sin parámetros, acotar el máximo acota todos los pasos y proporciona cobertura simultánea de la trayectoria (Teorema 1). El máximo solo es cero cuando todas las puntuaciones de los pasos son cero. Esta condición hace que un umbral igual a cero sea menos frecuente que con la calibración de pasos agrupados (Proposición 1).
Experimentos
Los experimentos presentan la cobertura de pasos, es decir, la fracción media de pasos cubiertos por episodio. Los tamaños de los conjuntos incluyen la alternativa de respaldo basada en argmax, mientras que la cobertura utiliza el conjunto definido en la definición especificada del conjunto de predicción; un conjunto bruto vacío se considera no cubierto.
Solicitud simulada de ayuda con predicción conforme normalizada por episodio
Evaluamos un uso de la predicción conforme normalizada por episodio durante el despliegue: el agente actúa cuando [the prediction set meets the action condition] y solicita ayuda cuando [the prediction set meets the help-seeking condition]. Por tanto, un conjunto más grande hace que el agente posponga la decisión.
Este experimento simula la solicitud de ayuda sin operadores humanos. Cuando la predicción conforme normalizada por episodio solicita ayuda porque [the help-seeking condition is met], el agente ejecuta la acción correcta proporcionada por el simulador en lugar de la acción elegida por su política. El simulador tiene acceso al objetivo y al grafo de navegación completo, y se supone que no comete errores.
Este experimento no selecciona un umbral de despliegue. El umbral se recorre después de observar la partición de validación no vista, y el mismo [threshold] produce tasas de solicitud distintas en políticas con distribuciones diferentes del tamaño de los conjuntos.
La intervención también modifica las observaciones posteriores, por lo que el resultado estático de cobertura de la predicción conforme normalizada por episodio no certifica las trayectorias asistidas.
Preguntas frecuentes
¿Qué problema aborda la predicción conforme normalizada por episodio? Aborda el hecho de que la calibración de pasos agrupados no proporciona cobertura a nivel de trayectoria en la navegación visual y lingüística.
¿Por qué no se tratan como intercambiables los pasos dentro de un episodio? Comparten historiales de acciones y observaciones, la duración de los episodios puede variar y las acciones pueden influir causalmente en las observaciones posteriores.
¿Cómo resume un episodio la calibración normalizada por episodio? Asigna una única puntuación de calibración a cada episodio de calibración, independientemente de su duración.
¿Cómo se utiliza el método para solicitar ayuda de forma simulada? El agente actúa o solicita ayuda según su conjunto de predicción, y el simulador proporciona la acción correcta cuando se solicita ayuda.