Descripción general de RAPID
Representación de programas
RAPID introduce una representación de programas relacionales centrada en objetos que permite que las estrategias construidas por el agente se generalicen entre distintas escenas. RAPID representa cada primitiva como un programa local de optimización de trayectorias que tiene en cuenta la geometría y la física, y que logra un efecto a nivel de objeto.
A continuación, una estrategia compone estas primitivas mediante restricciones relacionales que especifican el efecto deseado de cada primitiva.
Despliegue de estrategias
Durante el despliegue, dada una observación RGB-D de una escena nueva y una instrucción lingüística, RAPID reconstruye la escena en simulación, instancia la estrategia en la escena reconstruida y ejecuta la trayectoria resultante en el robot.
Una vinculación semántica ligera asigna los objetos de la escena a los roles semánticos de la estrategia, mientras la estrategia y las propias primitivas permanecen sin cambios.
Programas relacionales centrados en objetos
RAPID define una representación de programas relacionales centrada en objetos que consta de primitivas, su composición en estrategias a nivel de tarea y la instanciación de la estrategia en escenas nuevas.
Instanciación de estrategias en escenas nuevas
Durante todo este proceso, el programa de la estrategia y las primitivas referenciadas permanecen congelados.
El programa de la estrategia permanece fijo mientras sus primitivas se adaptan a la nueva escena.
Por tanto, la generalización surge de la representación de programas relacionales centrada en objetos, junto con la adaptación de la optimización de trayectorias a la geometría y las propiedades físicas de la nueva escena.
Reconstrucción de entornos interactivos
Variantes de escena viables
Para construir variantes de la escena demostrada, RAPID utiliza un muestreador de variaciones independiente de la tarea para aleatorizar las apariencias, los tamaños, las poses y los parámetros físicos de los objetos, como la masa, la fricción y la elasticidad.
Sin embargo, las escenas muestreadas al azar podrían no ser viables para una determinada primitiva o estrategia. Por ello, RAPID pide al agente de programación que escriba un filtro para cada primitiva o estrategia que acepte únicamente variantes que conserven los roles y las relaciones declarados, el significado de la tarea y la viabilidad física.
Experimentos en el mundo real para la manipulación no prensil
Resultados
Con la representación de programas relacionales centrada en objetos y un controlador de espacio operativo con cumplimiento, los comportamientos no prensiles ricos en contactos optimizados en simulación pueden transferirse directamente al robot real y ejecutarse de forma eficaz.
En cambio, CaP-Agent0 tiene dificultades para generar trayectorias fiables mediante programas procedimentales.
Además, aprovechar el conocimiento previo del modelo de visión-lenguaje para estimar parámetros físicos como la masa, la fricción y la restitución, junto con la sólida capacidad de reconstrucción 3D de SAM 3D, ayuda a mantener manejables las brechas entre la realidad y la simulación, y entre la simulación y la realidad.
Conclusión
RAPID es un marco que cierra el ciclo de programación agéntica para la manipulación robótica a partir de una única demostración visual de una persona y una descripción lingüística.
Al derivar automáticamente especificaciones de tareas, primitivas de manipulación y entornos interactivos de verificación, RAPID permite a un agente de programación construir, ejecutar y perfeccionar iterativamente estrategias de manipulación reutilizables.
Su representación de programas relacionales centrada en objetos representa las primitivas de manipulación como programas de optimización de trayectorias y las compone mediante restricciones relacionales, lo que permite generalizar a escenas nuevas.
Los experimentos realizados en ocho tareas de manipulación no prensil ricas en contactos demuestran una sólida generalización entre variaciones de objetos y escenas, mientras que las evaluaciones en LIBERO-Pro y en un sistema robótico real respaldan la aplicabilidad más amplia y el despliegue práctico de RAPID.
En trabajos futuros, RAPID incorporará otras herramientas para aprender primitivas, como el aprendizaje por refuerzo para la manipulación con manos diestras. Además, RAPID se beneficiará automáticamente del progreso continuo en agentes de programación, modelos fundacionales de robótica y motores de simulación, incluidos los destinados a objetos deformables, y escalará.
Preguntas frecuentes
¿Qué es RAPID? RAPID es un marco de manipulación robótica que utiliza un agente de programación para construir, ejecutar y perfeccionar estrategias reutilizables a partir de una demostración visual de una persona y una descripción lingüística.
¿Cómo generaliza RAPID las estrategias de manipulación a escenas nuevas? Utiliza programas relacionales centrados en objetos, vinculación semántica ligera y optimización de trayectorias adaptada a la geometría y las propiedades físicas de la nueva escena.
¿Qué parámetros físicos puede estimar RAPID? RAPID puede estimar parámetros como la masa, la fricción y la restitución utilizando el conocimiento previo de un modelo de visión-lenguaje.
¿Cuántas tareas de manipulación se evaluaron? Los experimentos evaluaron ocho tareas de manipulación no prensil ricas en contactos, junto con pruebas en LIBERO-Pro y en un sistema robótico real.