Agentes LLM para la manipulación robótica
El conocimiento que estos sistemas conservan de un episodio a otro es textual o programático. RV-ICL mantiene intacta la infraestructura del agente y añade un registro visual de cómo se realiza la tarea, junto con un protocolo para consultarlo.
Aprendizaje a partir de demostraciones en contexto
En los modelos de lenguaje, bastan unas pocas demostraciones en el prompt para especificar una tarea, aunque los modelos se apoyan sobre todo en el formato y el espacio de etiquetas, más que en la correspondencia exacta entre entradas y etiquetas. Flamingo amplía el aprendizaje en contexto a imágenes intercaladas.
Todas estas técnicas presentan la demostración una sola vez, como prefijo de las acciones siguientes. Nuestro agente toma de decenas a cientos de decisiones por episodio, así que la cuestión no es solo si mostrar una demostración, sino qué parte y cuándo.
Recursión en el razonamiento y la recuperación de información de los modelos de lenguaje
La recursión permite que un modelo con contexto acotado maneje entradas y problemas que exceden su contexto. El resumen recursivo condensa un libro en un árbol de resúmenes que se recorre de arriba abajo, y RAPTOR recupera información de ese árbol al nivel de abstracción que requiere una pregunta. Para vídeos largos, VideoAgent y VideoTree también inspeccionan únicamente los fotogramas o ramas que necesita una pregunta.
La descomposición recursiva divide un problema según sea necesario. ADaPT descompone aún más una subtarea solo cuando el ejecutor no logra completarla; THREAD crea hilos secundarios que devuelven únicamente lo que necesita el hilo principal, y Recursive Language Models se llaman a sí mismos sobre segmentos de un contexto demasiado largo para leerlo de una sola vez. Tree of Thoughts busca en árboles de pasos intermedios de este tipo.
Una familia relacionada decide cuándo recuperar información. FLARE la recupera cuando los siguientes tokens son inciertos, y Self-RAG aprende a solicitarla cuando se necesita. Reflexion y Self-Refine incorporan el resultado de un intento al siguiente, y MemGPT distribuye la información entre un contexto acotado y un almacenamiento externo.
RV-ICL lleva la recursión a un agente encarnado. La demostración es un árbol que se consulta en el nivel que requiere cada decisión, y el agente desciende por él cuando el progreso en la tarea física exige más detalle: antes de un contacto delicado, ante un nuevo subobjetivo o después de que un paso salga mal.
La jerarquía de demostraciones
Un número fijo de fotogramas cubre toda la tarea. Se colocan en torno a cada agarre y liberación, y el resto se completa con muestras uniformes. Cada fotograma clave muestra las vistas en tercera persona y desde la muñeca, y lleva una leyenda con su fracción temporal, el estado de la pinza, la posición del efector final y la etiqueta del evento.
Acceso recursivo
Antes de su primera acción, el agente lee los niveles disponibles de la jerarquía. Escribe sus subobjetivos a partir del mapa de fases, usando los fotogramas clave como referencia visual de cada etapa. Todavía no carga ningún clip, porque el prompt solicita clips en el momento de actuar, no de antemano.
Resultados principales
Mientras las otras cinco celdas se mantienen en el techo o cerca de él, RV-ICL logra mejoras claras en las tres celdas donde HarnessVLA es más débil. Goal-T sube de 88.0 a 100.0, L10-T de 85.0 a 90.0 y L10-S de 72.0 a 84.0.
LIBERO-10 es el conjunto de tareas de horizonte largo del benchmark, y cada una de sus tareas encadena varios agarres y liberaciones. Las mejoras obtenidas allí sugieren que el acceso recursivo es especialmente eficaz en este tipo de tareas.
El pequeño descenso en Goal-S (98.0 frente a 99.0) se debe a un único episodio fallido. Con cinco semillas por tarea, un episodio desplaza una celda dos puntos. Por tanto, el descenso no indica que RV-ICL sea peor que HarnessVLA en Goal-S.
Cómo recurren los agentes
Tras fallar el agarre, el agente solicita únicamente el momento del agarre y observa en el clip cómo el demostrador sujeta la olla: por el asa, con los dedos colocados más hacia fuera que los suyos. Determina dónde está esa asa en su propia escena a partir de sus propias cámaras, ya que la demostración se grabó en una disposición distinta. Así, el clip aporta lo que la memoria textual no puede registrar, y no se incorpora al contexto ningún otro contenido del vídeo.
En los 400 episodios de LIBERO-PRO, el agente abre unos pocos clips por episodio, y casi todos los episodios incluyen una reentrada.
En todos los episodios, el agente lee los fotogramas clave y el mapa de fases antes de realizar su primera acción robótica.
Limitaciones
RV-ICL presupone una demostración por tarea base; cuando un benchmark reformula el objetivo de una tarea, algunas partes de la demostración dejan de ser válidas y hay que señalárselo al agente. En LIBERO, detectamos subeventos a partir de la pinza y de las articulaciones de los elementos de fijación. Las tareas cuyas subtareas no dejan ese tipo de rastro en el estado registrado, como empujar, limpiar o verter, necesitan otro detector, por ejemplo uno que lea la trayectoria del efector final o consulte a un modelo de visión y lenguaje. Cuando el contacto se ejecuta mediante una habilidad aprendida cuyo movimiento difiere del del demostrador, los niveles más detallados aportan poco que el agente pueda aprovechar.
Cada vista de demostración permanece en el contexto durante el resto del episodio, por lo que el coste aumenta con el número de reentradas. Todos nuestros experimentos usan tareas de LIBERO con un solo robot y una sola VLA, así que no se han probado otras configuraciones robóticas ni otras fuentes de demostraciones. Nuestros agentes son modelos propietarios a los que se accede mediante puntos de acceso de terceros, y su comportamiento puede cambiar con el tiempo.
Nuestras celdas de LIBERO-PRO contienen 50 episodios y cada dimensión de LIBERO-Plus, 17 o 18 variantes con una sola semilla, por lo que un único episodio mueve una celda entre dos y seis puntos. Las líneas base de la tabla de resultados proceden de ejecuciones separadas, así que no se pueden comparar con las nuestras episodio por episodio.
Declaración de ética
Todos los experimentos se realizan en simulación. Los agentes LLM ejecutan comandos de shell y podrían leer archivos ajenos a su tarea; aislamos las condiciones restringiendo los permisos de directorio y auditamos después todos los comandos de shell. Desplegar estos agentes en robots físicos requiere un aislamiento más estricto y supervisión humana. Las demostraciones proceden de conjuntos de datos de referencia públicos.
Preguntas frecuentes
¿Qué añade RV-ICL a un agente? Añade un registro visual de las demostraciones de tareas y un protocolo para consultar partes de ese registro según sea necesario.
¿Cuándo recupera el agente clips de vídeo? Solicita clips en el momento de actuar, en lugar de cargarlos todos antes de empezar.
¿Qué información aporta un clip recuperado después de un agarre fallido? Puede mostrar cómo realizó el demostrador el agarre, mientras que el agente usa sus propias cámaras para localizar el objeto en su escena.
¿Cuáles son las principales limitaciones de RV-ICL? Presupone una demostración por tarea base, y sus experimentos abarcan únicamente tareas de LIBERO con un solo robot y una sola VLA.