Las tareas de Automatización Variacional (VA) que se repiten durante períodos prolongados asumen que el entorno de la celda de trabajo, el robot y los sensores son conocidos y fijos. Además, se asume que el rango de objetos potenciales y el rango de poses iniciales de los objetos son conocidos. Estos supuestos son parte del entorno VA, no información de oráculo: a diferencia de la robótica generalista, las tareas VA se definen por una celda de trabajo conocida y un envolvente operativo acotado, lo que permite a los sistemas utilizar modelos de objetos, sensores calibrados y habilidades de automatización reutilizables cuando estén disponibles.
Formulación del Problema
Para las tareas de Automatización Variacional que se repetirán durante períodos prolongados, el entorno de la celda de trabajo, el robot y los sensores son conocidos y fijos. El rango de objetos potenciales y el rango de poses iniciales de los objetos también son conocidos. Estos supuestos son parte del entorno VA, no información de oráculo: a diferencia de la robótica generalista, las tareas VA se definen por una celda de trabajo conocida y un envolvente operativo acotado, lo que permite a los sistemas utilizar modelos de objetos, sensores calibrados y habilidades de automatización reutilizables cuando estén disponibles.
Benchmarks de Automatización Variacional en Simulación y Mundo Real
Presentamos 8 tareas de benchmark VA, incluyendo 4 en simulación y 4 en el mundo real. Seis de ellas están inspiradas en LIBERO, el estándar de facto para evaluar políticas VLA en simulación.
Benchmark (II-a,b): Empacar Artículos de Supermercado (Sim y Real)
Modificamos los Benchmarks I-a,b para crear tareas de pick-and-place multiobjeto, como en una línea de caja de supermercado, donde se asigna al robot empacar 6 objetos en un contenedor sin necesidad de identificar ni seleccionar artículos específicos. Cuantificamos la tasa de éxito como el número de artículos (de 6) colocados en la cesta después de 6 intentos de agarre.
Benchmark (III-a,b): Hacer Palomitas (Sim y Real)
Utilizamos los activos de sartén, estufa y perilla de LIBERO para crear una tarea de manipulación que requiere que el robot encienda secuencialmente una estufa, agarre el mango de la sartén, la coloque sobre la estufa, retire la sartén y apague la estufa. Para la versión real de este benchmark, usamos el brazo robótico Franka con cámara en la muñeca, una estufa portátil de Amazon y palomitas Jiffy-Pop.
Benchmark (IV): Insertar Cables (Real)
Esta tarea de benchmark requiere un brazo robótico UR5 con la cámara de muñeca ZED Mini para ejecutar una serie de inserciones y extracciones de cables USB-C en un banco de 6 puertos. El robot utiliza la retroalimentación interna de par de fuerza para sondear la inserción cuando el puerto objetivo sale del campo de visión de la cámara. El benchmark incluye dos condiciones variables. Primero, variamos la pose de los puertos de cable, probando tres distancias en incrementos de 5 mm y tres ángulos en incrementos de 15°. Segundo, variamos el indicador de texto para especificar cinco objetivos distintos: apuntar a puertos individuales, insertar en orden ascendente, orden descendente, puertos de índice impar y puertos de índice par.
Líneas Base
Para GaP y CaP-X, usamos Gemini-3.1-Flash-Lite para agentes LLM y VLM con una temperatura de 0.1. Para los Benchmarks I y II, GaP no realiza autoaprendizaje porque el primer grafo generado logra un alto rendimiento.
Benchmark III A, B: Hacer Palomitas en Sim y Real
La tarea de Hacer Palomitas requiere que el robot agarre la perilla de la estufa y la gire para encender el quemador, luego el robot debe encontrar y agarrar el mango de la sartén de palomitas JiffyPop, colocarla sobre el quemador, esperar y luego apagar la estufa.
GaP genera un grafo usando GraspGen, habilidades de giro de perilla y otras habilidades de localización y agarre de objetos de los Benchmarks 1 y 2. El grafo inicial puede encender y apagar la perilla pero no puede agarrar y colocar la sartén correctamente – logrando solo una tasa de éxito del 33%.
La política resultante logra un 94% en simulación con variaciones de posición y orientación de la sartén, y alcanza una tasa de éxito del 90% (18/20) en pruebas físicas reales. Las dos fallas físicas resultaron de un error de cinemática inversa (IK) durante el movimiento cartesiano lineal y un mal agarre causado por error cinemático acumulado.
Benchmark V: Lavar Cajas (Simulación)
Comparamos GaP con un grafo de ejecución diseñado manualmente por un experto, representando el esfuerzo de ingeniería manual convencional requerido en tales entornos. Ejecutamos ambas políticas durante 150 ensayos muestreados de la distribución de poses y además medimos el rendimiento sostenido durante una ventana de ejecución continua de 3 horas.
Conclusión
La robótica agéntica tiene el potencial de aprovechar los modelos LLM en rápido avance para proporcionar un puente entre la Ingeniería a la Antigua (GOFE) y las políticas VLA sin modelo. Como se muestra en los experimentos de Ablación, la robótica agéntica estructurada en grafos de GaP facilita la modularidad, la integración multiagente y el autoaprendizaje. A medida que las aplicaciones robóticas se vuelven más complejas y las bibliotecas de habilidades crecen, se requerirá un aprovechamiento más sofisticado de los agentes.
Limitaciones. Aunque en los experimentos GaP mejora significativamente las tasas de éxito en comparación con las líneas base, la fiabilidad de ejecución aún no está a nivel industrial y se requiere autoaprendizaje adicional y ajuste de parámetros. Del mismo modo, los tiempos de ejecución de GaP siguen estando muy por debajo de los estándares industriales de 500 unidades por hora (7 segundos por instancia); se necesita más trabajo para reducir las solicitudes de inferencia VLM y el tiempo de planificación de movimiento IK durante la ejecución. Además, los 8 benchmarks VA se centran en operaciones de pick-and-place casi estáticas – solo la Inserción de Cables (IV) requiere detección de fuerza. Se necesita más trabajo para aplicar GaP a tareas con objetos deformables, fuerzas dinámicas y objetivos en movimiento.
Preguntas Frecuentes
¿Cómo maneja GaP las tareas donde el grafo de política inicial falla? GaP utiliza autoaprendizaje para mejorar iterativamente el grafo a través de ensayos y reintentos, logrando tasas de éxito significativamente más altas que la política inicial.
¿Qué benchmarks se utilizaron para evaluar el rendimiento de GaP? Se utilizaron ocho tareas de benchmark VA, incluyendo cuatro en simulación y cuatro en el mundo real, cubriendo empaque de comestibles, hacer palomitas, inserción de cables y lavado de cajas.
¿Qué hardware se utilizó para los experimentos en el mundo real? Los experimentos en el mundo real utilizaron un brazo robótico Franka con cámara en la muñeca para la tarea de palomitas y un brazo robótico UR5 con cámara de muñeca ZED Mini para la tarea de inserción de cables.
¿Cuáles son las principales limitaciones de GaP en su forma actual? La fiabilidad de ejecución aún no está a nivel industrial, los tiempos de ejecución están por debajo de los estándares de rendimiento industrial, y el sistema se centra principalmente en operaciones casi estáticas en lugar de objetos deformables o fuerzas dinámicas.