Procesos de decisión de Markov y acceso al simulador
Cada entorno se representa mediante un proceso de decisión de Markov (MDP) y una descripción de la tarea.
La descripción de la tarea especifica el objetivo que el robot debe alcanzar.
La distribución del estado inicial genera instancias del problema con distintas cantidades de objetos, configuraciones y geometrías. Por ejemplo, en una tarea de recuperación de objetos, las instancias pueden diferir en el número y la disposición de los obstáculos que rodean al objeto objetivo. El estado y los espacios de acción, el modelo de transición y la función de recompensa son compartidos.
Síntesis y evaluación
En el momento de la evaluación, el programa queda fijado y el método de síntesis deja de invocarse. En particular, ningún agente de programación ni modelo de lenguaje utilizado durante el aprendizaje está disponible. El programa se evalúa sobre estados iniciales que se ocultaron deliberadamente durante el aprendizaje.
La distribución oculta de estados iniciales proporciona problemas de evaluación que no estaban disponibles durante la síntesis.
La métrica principal es la tasa de éxito: la probabilidad de que el programa alcance el objetivo dentro del horizonte especificado y de un límite de tiempo real de 60 segundos.
El horizonte define el número máximo de pasos permitidos antes de que finalice una instancia de evaluación.
También se mide el tiempo de cálculo por instancia. Esto incluye el tiempo dedicado a planificar y decidir las acciones, pero excluye la síntesis y el tiempo empleado en avanzar el entorno de evaluación.
Líneas base
AgenticGenPlan se compara con planificadores de planificación de tareas y movimiento (TAMP) que combinan búsqueda simbólica con muestreo para satisfacer restricciones continuas. Los benchmarks proporcionan planificadores para 16 de los 28 entornos.
Se utilizan las implementaciones oficiales de los predicados, operadores, muestreadores y planificadores de movimiento, o habilidades, escritos manualmente, para generar trayectorias factibles. Estos métodos calculan un plan nuevo para cada instancia de evaluación.
Configuración del entorno
Para cada método, se realizan cinco ejecuciones independientes por entorno. Cada ejecución de síntesis del agente de programación y de LLMGenPlan cuenta con un presupuesto de $20 en uso del modelo.
Los programas y planificadores resultantes se evalúan sobre las mismas 100 instancias por entorno, muestreadas de la misma distribución del estado inicial utilizada durante la síntesis. Las semillas de evaluación se generan aleatoriamente para que sea improbable que los agentes las prueben durante la síntesis, y esto se verifica posteriormente comprobando que ninguna se utilizó.
Se aplica a todos los métodos un tiempo de espera de 60 segundos por instancia de evaluación, en consonancia con el protocolo original de KinDER.
El tiempo de espera de la evaluación limita el tiempo real disponible para resolver cada instancia.
Síntesis agéntica de programas robóticos
A partir de Code-as-Policies, los modelos de lenguaje de gran tamaño han demostrado la capacidad de generar código de control robótico que integra habilidades de manipulación e interfaces de percepción. Trabajos posteriores como GenCHiP e InstructFlow motivan el uso del código como representación flexible de políticas, a la vez que destacan la importancia de la interfaz de acción y la retroalimentación proporcionadas.
En la planificación simbólica de tareas, se han utilizado modelos de lenguaje de gran tamaño y la retroalimentación de la ejecución para sintetizar programas reutilizables que resuelven nuevas instancias de PDDL sin realizar más llamadas al modelo de lenguaje.
Debate
Limitaciones
El planteamiento presupone estados totalmente observados y centrados en objetos, así como acceso al simulador durante la síntesis. Por tanto, no establece el rendimiento bajo incertidumbre perceptiva.
Los datos de entrenamiento de los modelos no se han divulgado, por lo que no puede descartarse la exposición previa al código de los benchmarks. Sin embargo, los registros de síntesis muestran que las políticas se desarrollan mediante exploración del entorno, pruebas y revisiones sustanciales. Junto con las estrategias inesperadas que sintetizaron los agentes, esto aporta evidencia en contra de que simplemente recuerden soluciones completas vistas durante el preentrenamiento.
Conclusiones
Los agentes de programación son potentes planificadores TAMP generalizados: sintetizan programas reutilizables que superan a los planificadores diseñados manualmente y a los métodos de síntesis existentes basados en modelos de lenguaje de gran tamaño en los benchmarks.
Estos resultados amplían el potencial de la planificación generalizada basada en modelos de lenguaje de gran tamaño a entornos con restricciones geométricas, cinemáticas y dinámicas. Mediante la interacción, los agentes pueden investigar el comportamiento físico de un entorno y desarrollar estrategias eficaces sin que se les proporcionen sus modelos simbólicos, habilidades ni muestreadores.
Esta capacidad de descubrir tanto cómo funciona un entorno como cómo resolver sus tareas convierte a los agentes de programación en una línea base importante para futuras investigaciones sobre TAMP.
Agradecimientos
Los autores agradecen a Pietro Ferrazzi sus comentarios sobre un borrador del artículo. Este trabajo recibió apoyo parcial de una subvención de innovación de Princeton SEAS, el programa de subvenciones académicas de NVIDIA y una subvención del Princeton AI Lab.
Preguntas frecuentes
¿Qué es AgenticGenPlan? AgenticGenPlan es un enfoque basado en agentes de programación para sintetizar programas reutilizables de planificación generalizada de tareas y movimiento.
¿Cómo se evalúa el rendimiento? El rendimiento se mide principalmente por la probabilidad de que un programa alcance su objetivo dentro del horizonte permitido y de un límite de tiempo real de 60 segundos.
¿Cuántas instancias de evaluación se utilizan por entorno? Cada método se evalúa sobre las mismas 100 instancias por entorno.
¿Cuáles son las principales limitaciones del estudio? El planteamiento presupone estados totalmente observados y centrados en objetos, así como acceso al simulador durante la síntesis, por lo que no establece el rendimiento bajo incertidumbre perceptiva.