Tareas de evaluación: medición de distintos ejes de la memoria
Evaluamos, en tres tareas simuladas y una real, tres capacidades diferenciadas de uso de la memoria:
- Conteo bajo observabilidad parcial
- Recuperación espacial
- Adaptación en contexto a partir de experiencias pasadas
A continuación, describimos las tareas a alto nivel y dejamos los detalles para el apéndice. Todas las líneas base se entrenan mediante clonación conductual supervisada a partir de demostraciones.
DrawerRecall
DrawerRecall evalúa la recuperación espacial. En esta tarea, un robot abre primero uno de tres cajones y guarda en él un cubo, para después cerrarlo. A continuación, otro robot —la política que se está evaluando— debe abrir el cajón que contiene el cubo almacenado.
BalanceBar
Por último, evaluamos la adaptación en contexto con BalanceBar. En esta tarea, un robot dispone de dos intentos para levantar una barra cuyo centro de masa (CoM) desconoce, de modo que permanezca nivelada.
Las demostraciones comienzan levantando primero la barra desde el centro, lo que revela el CoM, y después agarrándola en el CoM, logrando así un levantamiento nivelado. La política aprendida debe aprender a hacer lo mismo: utilizar el historial para determinar el CoM y volver a intentarlo en la posición de agarre correcta.
Los modelos del espacio de trabajo amortizan con éxito el razonamiento de los VLM
La motivación central es amortizar, durante el entrenamiento, la lenta y costosa computacionalmente síntesis del historial dentro del bucle de un VLM, convirtiéndola en un codificador ligero que pueda consultarse eficientemente durante el despliegue.
Antes de evaluar el rendimiento de las políticas en las tareas posteriores, verificamos que esta amortización mejora el tiempo de ejecución.
¿Por qué los modelos del espacio de trabajo muestran un mejor rendimiento en las tareas?
Esta sección explica el hallazgo sorprendente de que los modelos del espacio de trabajo, aunque están diseñados para amortizar la búsqueda de fotogramas clave, en realidad superan a dicha búsqueda.
Tanto los historiales completos como los historiales de fotogramas clave provocan fallos de control
Primero clasificamos los modos de fallo de los distintos métodos como errores relacionados con la memoria o errores relacionados con el control.
Los errores relacionados con la memoria se producen cuando el robot ejecuta correctamente una habilidad, pero selecciona el modo equivocado; por ejemplo, guarda tres bloques y pulsa «listo» en lugar de guardar cinco.
Los errores relacionados con el control se producen cuando el robot no consigue ejecutar una habilidad de manipulación; por ejemplo, cuando no logra agarrar un bloque.
Presentamos los resultados de los fallos observados en los experimentos de simulación y comprobamos que VanillaDP, como era de esperar, sufre errores relacionados con la memoria, pero rara vez falla al ejecutar un modo de acción.
Los métodos basados en fotogramas clave introducen aliasing de control
Los métodos de selección explícita de fotogramas —ya sea con muestreo espaciado, como en HistoryDP, o basada en VLM, como en Keyframe— generan durante el entrenamiento una estructura de entrada con aliasing. Esta estructura puede ser susceptible a un desplazamiento de distribución debido a lo estrechas que son las distribuciones de entrenamiento.
¿Por qué generalizan mejor los modelos del espacio de trabajo?
El modelo del espacio de trabajo presenta suavidad tanto en sus propias entradas de entrenamiento como en sus salidas, que sirven como entradas para la política.
Esta suavidad se debe a:
- El entrenamiento con atención global completa a lo largo del tiempo
- La suavidad de las salidas del modelo del espacio de trabajo
Discusión
Presentamos los modelos del espacio de trabajo como una solución al problema de la memoria de horizonte largo en la manipulación robótica. Al amortizar el razonamiento del VLM durante el entrenamiento, obtenemos un codificador rápido y robusto que generaliza mejor que las alternativas que mantienen al VLM dentro del bucle.
La implementación concreta que proponemos —conjuntos de saliencia en forma de parches de imagen y un decodificador de estilo DETR— es una manera de materializar esta idea. Merece la pena explorar muchas alternativas, así como otras formas de supervisión mediante VLM.
Por ejemplo, el trabajo futuro podría extender el método a flujos de vídeo de múltiples cámaras, codificar trazas de razonamiento lingüístico o incorporar predicción de la dinámica.
En un sentido más amplio, esperamos que este trabajo impulse esa perspectiva. El principio fundamental va más allá de la robótica y la memoria: siempre que se consulte repetidamente un modelo fundacional potente durante las pruebas para resolver una subtarea estructurada, puede existir la oportunidad de amortizar ese razonamiento en un módulo aprendido más rápido y robusto.
Como hemos demostrado, la amortización puede producir resultados incluso mejores que el uso de modelos más potentes dentro del bucle.
Aunque el modelo del espacio de trabajo funciona bien, depende de un codificador transformer completamente autorregresivo. Esto hace que el coste computacional escale cuadráticamente y puede resultar problemático con secuencias muy largas.
Para paliarlo, podemos entrenar modelos del espacio de trabajo recurrentes, utilizar máscaras de atención en bloques diagonales para reducir la sobrecarga o emplear almacenamiento en caché de KV.
Los modelos del espacio de trabajo también reciben de un VLM supervisión sobre qué información visual es saliente, que quizá no esté plenamente fundamentada en determinar qué partes de una imagen son relevantes para el control. El aprendizaje por refuerzo puede ofrecer una vía para fundamentar dicha información en la recompensa de la tarea.
Por último, no comparamos con métodos jerárquicos que utilizan resúmenes lingüísticos y VLA. Sería interesante examinar estos métodos, así como estudiar cómo combinar los espacios de trabajo con políticas generalistas en un contexto multitarea.
Agradecimientos
Queremos expresar nuestra gratitud a Younghyo Park, Ryan Bahlous-Boldi y Antonia Bronars por sus comentarios sobre el trabajo, así como a la comunidad del Improbable AI Lab por sus fructíferas discusiones.
Esta investigación recibió apoyo financiero del Ministry of Trade, Industry, and Energy (MOTIE) de Corea, en el marco del programa «Global Industrial Technology Cooperation Center», supervisado por el Korea Institute for Advancement of Technology (KIAT). N.º de subvención P0028435.
Este material se basa en un trabajo respaldado por la National Science Foundation Graduate Research Fellowship mediante la subvención n.º 2141064.
Contribuciones de los autores
- Nitish Dashora: Codirigió el desarrollo de la orientación del proyecto, la arquitectura y el diseño experimental; realizó los experimentos con hardware, redactó el artículo y desarrolló código.
- Douglas Chen: Contribuyó a la redacción, el diseño experimental y el desarrollo de código.
- Idan Shenfeld: Codirigió el desarrollo de la orientación del proyecto; contribuyó a la redacción y al diseño experimental, y proporcionó orientación conceptual.
- John Marangola: Contribuyó a los experimentos con hardware.
- Pulkit Agrawal: Contribuyó a la redacción del artículo y a la asesoría de alto nivel.
- Max Simchowitz: Codirigió el desarrollo de la orientación del proyecto, la arquitectura y el diseño experimental, y contribuyó significativamente a la redacción del artículo.
Detección de eventos
Esta sección analiza los detalles del proceso de etiquetado mediante VLM.
El token del espacio de trabajo contiene información tanto del pasado como del presente, y comprime información temporal y espacial. Por ello, en un instante dado distinguimos entre dos tipos diferentes de parches en los conjuntos de saliencia: parches de evento y parches transitorios.
Los parches de evento están especializados en un evento, se seleccionan en el momento en que este ocurre y permanecen en el conjunto de saliencia.
Los parches transitorios solo son relevantes en el presente y existen en el conjunto de saliencia durante el instante actual.
Detalles de la simulación
ManiSkill3 está configurado para ejecutarse a 100 Hz. Toda la recopilación de datos en simulación se realiza mediante planificadores de movimiento lineal sencillos que utilizan información privilegiada del estado.
Ejecutamos nuestras políticas y la recopilación de datos a 20 Hz, con control PD sobre un espacio de acciones 7D que incluye la pose del efector final y el estado de la pinza.
DrawerRecall
En esta tarea, el robot observa cómo un robot secundario abre un cajón, recoge un cubo, lo coloca dentro del cajón y después lo cierra.
Esto se hace de tal forma que, una vez cerrado el cajón, resulta imposible que el robot principal sepa cuál de ellos contiene el cubo. A continuación, la tarea del robot consiste en abrir el cajón correcto.
Utilizamos 272 demostraciones para el entrenamiento.
BalanceBar
Esta tarea consiste en levantar una barra larga de modo que quede nivelada —por ejemplo, con cero grados de inclinación alrededor del punto medio—. Sin embargo, la barra tiene uno de tres posibles centros de masa (CoM).
Las demostraciones comienzan con un intento de agarre desde el punto medio, que revela una inclinación. Después, las demostraciones incluyen levantar la barra desde el CoM correcto, logrando un levantamiento equilibrado.
Para el aprendiz, se considera que ha tenido éxito si, en el segundo intento, recoge la barra de forma equilibrada.
Utilizamos 272 demostraciones de entrenamiento.
Preguntas frecuentes
¿Qué capacidades evalúan los modelos del espacio de trabajo? Evalúan el conteo bajo observabilidad parcial, la recuperación espacial y la adaptación en contexto a partir de experiencias pasadas.
¿Cuál es el objetivo de amortizar el razonamiento de los VLM? Convertir la lenta y costosa síntesis del historial dentro del bucle de un VLM en un codificador ligero que pueda consultarse eficientemente durante el despliegue.
¿Qué es DrawerRecall? DrawerRecall evalúa si un robot puede utilizar el historial para identificar y abrir el cajón que contiene un cubo colocado allí por otro robot.
¿Qué limitación tienen los modelos del espacio de trabajo? Su codificador transformer completamente autorregresivo escala cuadráticamente con la longitud de la secuencia, lo que puede resultar problemático en secuencias muy largas.