Método
El flujo de entrenamiento y planificación de AD-WM utiliza objetivos de predicción del residual latente y recuperación de acciones para dar forma a transiciones discriminativas respecto a la acción. En la fase de prueba, el control predictivo basado en el modelo compara secuencias de acciones candidatas mediante la dinámica aprendida, mientras que las cabezas auxiliares se descartan. La tarea se formula en primer lugar, seguida del modelo, los objetivos de entrenamiento, el procedimiento de planificación y los diagnósticos para evaluar la selección de candidatos.
Predicción residual latente
Las representaciones visuales sucesivas suelen compartir una parte sustancial de la información del estado. La representación actual contiene esta información compartida, mientras que el predictor estima el cambio restante. Dada una representación vectorial aprendida de la acción, AD-WM predice:
El modelo predice el cambio residual de la representación latente, condicionado por la representación actual y la representación vectorial de la acción.
La predicción se supervisa mediante el sucesor codificado:
El residual predicho se entrena frente a la diferencia entre el sucesor codificado y la representación actual.
Experimentos
Los experimentos abordan cuatro preguntas:
- Q1: ¿Qué tan bien funciona AD-WM en tareas de simulación y ante cambios de configuración?
- Q2: ¿Cómo contribuyen la predicción residual y la recuperación de acciones al rendimiento del control?
- Q3: ¿Qué métricas de predicción y selección reflejan mejor el éxito en lazo cerrado?
- Q4: ¿Puede AD-WM transferirse a un robot real sin adaptación específica del laboratorio?
Conclusión y limitaciones
AD-WM es un modelo del mundo discriminativo de acciones para el control predictivo contrafactual basado en el modelo. Combina la predicción residual con la recuperación de acciones en el nivel del predictor para conservar la información de la acción sin modificar el planificador.
Los experimentos muestran mejoras frente a LeWM equivalente en cuatro de los cinco entornos de simulación y transferencia a Franka sin adaptación específica del laboratorio. Las ablaciones de Cube identifican la predicción residual y la información mutua como los factores que más contribuyen, mientras que la dinámica inversa tiene un efecto menor y dependiente del peso sobre el éxito medio. Los diagnósticos de Cube muestran que el regret del conjunto élite sigue el éxito más de cerca que el error factual o la clasificación de todo el banco.
Los diagnósticos siguen limitados a Cube, y la mejora de Scene no es concluyente con tres semillas. Las comparaciones externas difieren en la inferencia y en el número de checkpoints. El posentrenamiento en simulación y en el robot utiliza pesos auxiliares distintos. La evaluación del robot utiliza subobjetivos manuales y ensayos no aleatorizados, con un único sitio, una cámara y una arquitectura troncal. El trabajo futuro estudia configuraciones más amplias y reduce la dependencia de los subobjetivos manuales.
Preguntas frecuentes
¿Qué es AD-WM? AD-WM es un modelo del mundo discriminativo de acciones para el control predictivo contrafactual basado en el modelo.
¿Qué objetivos combina AD-WM? Combina la predicción residual latente con la recuperación de acciones en el nivel del predictor.
¿Dónde mostró mejoras AD-WM? Mejoró el rendimiento frente a LeWM equivalente en cuatro de los cinco entornos de simulación y se transfirió a Franka sin adaptación específica del laboratorio.
¿Cuáles son las principales limitaciones? Los diagnósticos siguen limitados a Cube, mientras que la evaluación del robot utilizó subobjetivos manuales, ensayos no aleatorizados, un sitio, una cámara y una arquitectura troncal.