Trabajos relacionados
En el Apéndice A se incluye un análisis ampliado de los trabajos relacionados.
Antecedentes: destilación estudiante-docente
Las siguientes secciones se centran en los principales paradigmas de destilación docente-estudiante bajo observabilidad parcial, explican por qué dejan de funcionar al aprender a explorar en entornos asimétricos y presentan ASTEROID como un método iterativo de destilación on-policy para aprender a explorar en contexto.
Experimentos
Los experimentos abordan las siguientes preguntas:
- ¿ASTEROID aprende a resolver de manera eficiente problemas parcialmente observables durante el despliegue?
- ¿Es ASTEROID eficiente en cuanto al uso de muestras en comparación con los métodos de referencia?
- ¿Qué comportamientos exploratorios muestran en las pruebas las políticas entrenadas con ASTEROID?
- ¿ASTEROID aprende políticas de exploración que pueden desplegarse en hardware robótico real?
- ¿Los modelos de frontera exploran en contexto?
- ¿Es necesario aprender a partir de contextos on-policy para aprender a explorar de manera eficiente?
Tareas
El enfoque se evalúa en un conjunto diverso de problemas de toma de decisiones parcialmente observables en manipulación robótica, exploración discreta y navegación continua. Las tareas requieren explorar, recordar y adaptarse con sensores limitados.
Mundos de cuadrícula parcialmente observables
Los mundos de cuadrícula parcialmente observables son un referente clásico para los problemas de búsqueda discreta. Un agente actúa durante varios episodios en un mundo de cuadrícula para alcanzar uno o más objetivos. El agente actúa en una cuadrícula de dimensiones no especificadas y debe realizar una exploración dirigida, por ejemplo, encontrar un objetivo oculto o encontrar secuencialmente una llave y una puerta ocultas a lo largo de varios episodios.
Navegación de metaaprendizaje
La navegación de metaaprendizaje requiere que un agente se desplace por un entorno hasta alcanzar un objetivo oculto. El estudio utiliza dos configuraciones: Navegación Ant, donde el agente es un robot de 8-DoF, y Navegación 2D, donde la dinámica se reduce a una masa puntual sencilla.
Navegación por laberintos Procgen
La navegación por laberintos Procgen consiste en encontrar el objetivo en laberintos generados proceduralmente. El agente solo recibe una observación local de dimensiones no especificadas y debe inferir la disposición del laberinto y la ubicación del objetivo a partir de su historial de interacciones.
Búsqueda de objetos con agentes corporeizados
La búsqueda de objetos con agentes corporeizados consiste en buscar un objeto doméstico en un entorno fijo de Habitat-Sim. Ofrece un problema parcialmente observable, realista y visualmente complejo.
Manipulación robótica simulada
La manipulación robótica simulada incluye tareas de control continuo y alta dimensionalidad bajo observabilidad parcial: inserción de clavija con cámara en la muñeca y recogida táctil. El robot debe usar sensores limitados para manipular objetos; por ejemplo, explorar la mesa usando solo la vista de la muñeca o utilizar el tacto para localizar un objeto y completar la tarea.
Manipulación con robots reales
Una de las tareas simuladas se reconstruye en el mundo real: el robot debe recoger un cubo usando únicamente la propiocepción del brazo y la pinza. Las políticas se entrenan en simulación con aleatorización del dominio y luego se transfieren al mundo real.
Métodos de referencia
El estudio compara ASTEROID con diez métodos de referencia sólidos de varios marcos para la observabilidad parcial. El texto proporcionado describe dos:
- RL² (meta-RL): entrena una política recurrente para adaptarse a parámetros ocultos únicamente mediante la interacción. El estado oculto de la política actúa como un algoritmo de aprendizaje implícito que se actualiza a partir de los historiales de varios episodios.
- Planificador destilado: para la navegación corporeizada en Habitat, se entrena una política para realizar aprendizaje por refuerzo con muestreo posterior (PSRL), lo que proporciona un límite superior de rendimiento.
¿Los modelos de frontera exploran en contexto?
Ante los recientes avances en modelos fundacionales capaces, el estudio pregunta qué tan bien se desempeñan los modelos de frontera cuando se utilizan para explorar en entornos parcialmente observables. El experimento utiliza la tarea de inserción de clavija: el robot debe usar su cámara en la muñeca para explorar la mesa, localizar y recoger la clavija e insertarla en el orificio.
Agradecimientos
Los autores agradecen a los miembros del WEIRD Lab sus comentarios útiles y sus valiosas conversaciones. También agradecen a los autores de OmniReset su orientación para configurar expertos de simulación y transferir políticas robóticas de la simulación al mundo real. Los autores reconocen al equipo UW Hyak por proporcionar recursos de computación de alto rendimiento que contribuyeron a los resultados de la investigación. Este trabajo recibió financiación parcial de la subvención NSF 2535892.
Robustez ante el ruido en la supervisión de expertos privilegiados
Los autores evalúan la robustez de ASTEROID en un estudio de ablación en el que un experto con ruido supervisa al estudiante. Durante el entrenamiento, añaden ruido gaussiano a las acciones del experto, con el parámetro de ruido no especificado en el texto proporcionado, y observan que ASTEROID mantiene un buen rendimiento con supervisión ruidosa. La ligera mejora del rendimiento podría deberse al efecto regularizador del aprendizaje a partir de objetivos ruidosos.
Memoria emergente en contexto
Para investigar si la política aprendida con ASTEROID presta atención al contexto, los autores crean una variante del entorno Key-Door. Durante la exploración, el agente observa dos indicadores booleanos en su estado cada vez que llega a la llave o a la puerta.
Las políticas entrenadas con ASTEROID muestran memoria emergente en contexto. Si el agente encontró la llave o la puerta en intentos anteriores, puede recuperar esa información más adelante a partir del contexto y utilizarla de manera eficiente.
Detalles del entrenamiento
ASTEROID utiliza un transformador causal. Cada token codifica una tupla de observación, acción anterior, recompensa y señal de terminación mediante un codificador MLP. Las imágenes se codifican con un ResNet18 preentrenado en ImageNet. Para las acciones discretas, el modelo predice logits sobre el espacio de acciones; para las acciones continuas, predice la media y la desviación estándar de una distribución gaussiana.
Preguntas frecuentes
¿Qué busca aprender ASTEROID? ASTEROID es un método iterativo de destilación on-policy para aprender a explorar en contexto bajo observabilidad parcial.
¿Qué tipos de tareas se utilizan en los experimentos? Las tareas abarcan la exploración de mundos de cuadrícula, la navegación, la búsqueda de objetos con agentes corporeizados, la manipulación robótica simulada y la manipulación con robots reales.
¿Cómo evalúa el experimento Key-Door la memoria en contexto? El agente observa indicadores cuando llega a la llave o a la puerta. Las políticas descritas pueden recuperar posteriormente los descubrimientos de intentos anteriores y utilizarlos.
¿Qué arquitectura utiliza ASTEROID? Utiliza un transformador causal con un codificador MLP para tokens de observación, acción, recompensa y terminación, y un ResNet18 preentrenado para las observaciones de imagen.