En las tareas que dependen de la memoria, el historial visual de horizonte prolongado no tiene por qué proporcionarse directamente al modelo de ejecución en cada paso de control. Este historial se necesita principalmente para determinar el siguiente plan a nivel de segmento y la evolución visual esperada, mientras que la ejecución puede limitarse a seguir un plan fundamentado en la memoria. Esta idea da lugar a MaP-WAM, que conserva la memoria a largo plazo como contexto episódico multimodal y la utiliza como evidencia durante la planificación para generar planes compactos. Al separar la planificación fundamentada en la memoria de la ejecución condicionada por el plan, MaP-WAM mantiene fija la longitud del contexto del ejecutor y reduce la latencia durante la ejecución, sin perder un anclaje detallado en la memoria visual de horizonte prolongado.
MaP-WAM alcanza tasas de éxito del 83,3 % y el 78,0 % en RMBench y en tareas con robots reales, respectivamente, al tiempo que mantiene prácticamente constante la latencia de inferencia del ejecutor a medida que crece el historial de la tarea.
Contribuciones
Marco de memoria como planes
Proponemos MaP-WAM, que convierte la evidencia episódica de horizonte prolongado en planes fundamentados en la memoria, lo que permite ejecutar con un contexto fijo sin perder el anclaje visual.
Planificación fundamentada en la memoria
Introducimos un modelo causal del mundo que transforma el contexto visual a largo plazo y el plan lingüístico previsto a nivel de segmento en un plan visual que sirve como guía detallada para la ejecución.
Ejecución consciente del progreso
Introducimos WAP, que modela conjuntamente la dinámica visual, los bloques de acciones y el progreso de la ejecución, y combina la predicción del progreso basada en MoT con la alineación entre plan y observación para permitir ejecuciones de duración variable y transiciones adaptativas entre segmentos.
Conclusión
Hemos presentado MaP-WAM para la manipulación robótica dependiente de la memoria, en la que la ejecución de la tarea requiere información que va más allá de la observación actual. En lugar de condicionar repetidamente el ejecutor con historiales visuales densos, MaP-WAM convierte el contexto episódico estructurado en planes fundamentados en la memoria que vinculan la semántica de la tarea con la evolución visual prevista.
Al combinar la planificación fundamentada en la memoria con una ejecución consciente del progreso, MaP-WAM cierra el ciclo entre planificación, ejecución y actualización del contexto, al tiempo que conserva el acceso, durante la planificación, a evidencia visual detallada y de largo plazo, y permite una inferencia eficiente con caché KV y un contexto fijo para el ejecutor.
Los experimentos en simulación y con robots reales muestran que MaP-WAM mejora el rendimiento en tareas de horizonte prolongado dependientes de la memoria, manteniendo prácticamente constante la latencia del ejecutor por bloque a medida que crece el historial de la tarea.
Limitaciones
Actualmente, MaP-WAM se basa en la estructura de segmentos disponible en los benchmarks existentes para organizar la memoria y el progreso. Extender la planificación a demostraciones no segmentadas mediante el descubrimiento automático de segmentos es un siguiente paso natural.
Además, el mecanismo de alineación entre plan y observación utiliza una métrica ligera de correspondencia que no requiere entrenamiento, y las medidas de similitud aprendidas podrían mejorar aún más la robustez de la calibración en escenas visualmente complejas.
Preguntas frecuentes
¿Para qué está diseñado MaP-WAM? MaP-WAM está diseñado para tareas de manipulación robótica dependientes de la memoria que requieren información más allá de la observación actual.
¿Cómo utiliza MaP-WAM el historial visual a largo plazo? Utiliza el contexto episódico multimodal a largo plazo como evidencia durante la planificación para generar planes compactos fundamentados en la memoria.
¿Qué función cumple la ejecución consciente del progreso? La ejecución consciente del progreso modela la dinámica visual, los bloques de acciones y el progreso de la ejecución para permitir ejecuciones de duración variable y transiciones adaptativas entre segmentos.
¿Qué tasas de éxito alcanza MaP-WAM? Alcanza un 83,3 % de éxito en RMBench y un 78,0 % en tareas con robots reales.