Las contribuciones de este trabajo son tres:
- Introducimos un mecanismo de adquisición de evidencias previo a la planificación que solicita a un VLM planificar subobjetivos de recopilación de información para revelar regiones ocultas y verificar objetos relevantes para el objetivo.
- Proponemos un mecanismo de verificación de viabilidad que evalúa si las evidencias obtenidas permiten una planificación de tareas viable, solicita observaciones adicionales o detiene el proceso cuando los requisitos del objetivo siguen sin estar respaldados.
- Diseñamos tres escenarios de cocina que abarcan objetivos explícitos, subespecificados y con objetos ausentes, y demostramos empíricamente que EAFG mejora la finalización fundamentada y la detección de inviabilidad.
Trabajos relacionados
La planificación de tareas y movimientos combina el razonamiento simbólico discreto con la planificación continua de movimientos para resolver tareas de manipulación de larga duración sujetas a restricciones geométricas, cinemáticas, de colisión, agarre y colocación. PDDLStream amplía PDDL mediante streams que interactúan con procedimientos de caja negra, como solucionadores de cinemática inversa, muestreadores de agarres y colocaciones, verificadores de colisiones y planificadores de movimientos. Coordina la búsqueda finita de PDDL con las evaluaciones de los streams para generar y verificar los parámetros continuos necesarios para los planes de manipulación candidatos.
Los trabajos previos sobre planificación bajo observabilidad parcial y búsqueda de objetos abordan objetos ocultos y estados inciertos mediante POMDP, planificación en el espacio de creencias y acciones de recopilación de información, como revelar oclusiones o inspeccionar recipientes durante la manipulación. La verificación de planes previa a la ejecución basada en LLM detecta fallos lógicos o procedimentales en los planes robóticos propuestos, pero no recopila activamente evidencias sobre objetos ocultos o ausentes. En cambio, nuestro método permite al robot actuar de forma autónoma para reunir evidencias y, basándose en ellas, decidir si debe planificar, adquirir información adicional o detenerse.
En conjunto, los trabajos previos aportan viabilidad geométrica mediante TAMP, descomposición semántica de tareas mediante modelos fundacionales o recopilación de información mediante planificación con observabilidad parcial. Nuestra contribución consiste en situar la adquisición de evidencias antes de la planificación de tareas y utilizar las observaciones obtenidas como una verificación explícita de viabilidad para planificar de forma fundamentada o detenerse.
Adquisición de evidencias y verificación de viabilidad
Proponemos Evidence Acquisition and Feasibility Gating (EAFG), un método que utiliza un VLM para adquirir activamente evidencias observacionales con las que verificar objetos relevantes para el objetivo y las condiciones del entorno antes de planificar la tarea. EAFG genera subobjetivos de adquisición de evidencias que resuelven información ausente o incierta, y emplea las evidencias obtenidas para determinar si debe continuar la planificación del objetivo. Si no es posible obtener las evidencias necesarias después de explorar las regiones relevantes, EAFG detiene la ejecución para evitar generar un plan basado en suposiciones no respaldadas.
Descripción general
EAFG recibe como entrada un objetivo expresado en lenguaje natural y genera un plan para adquirir la información del entorno necesaria para determinar si el objetivo puede alcanzarse. La entrada es un objetivo de tarea expresado en lenguaje natural.
Primero, el VLM propone una secuencia de subobjetivos de adquisición de evidencias, en la que cada subobjetivo es una acción exploratoria, como abrir puertas o armarios y levantar temporalmente objetos que bloquean la visión. Estos subobjetivos sirven para inspeccionar partes del entorno que podrían contener objetos relevantes para el objetivo, no para realizar directamente la tarea final.
Cada subobjetivo de adquisición de evidencias generado se envía a un TAMP, que intenta instanciarlo como una secuencia de acciones geométrica y cinemáticamente viable. A continuación, el robot ejecuta las secuencias de acciones resultantes. Después de ejecutar cada subobjetivo, la imagen observada se almacena como evidencia visual para las inferencias posteriores del VLM.
Después de cada iteración de adquisición de evidencias, el VLM recibe el historial de ejecución y el mosaico de observaciones, actualiza el estado de las evidencias y emite un estado de verificación: ready_to_plan, need_more_evidence o halt. El primer estado activa la planificación de tareas condicionada por las evidencias; el segundo inicia otra iteración de adquisición, y el tercero detiene la ejecución cuando las evidencias necesarias siguen sin estar respaldadas.
Verificación de viabilidad
Si el VLM determina que las evidencias adquiridas son suficientes para planificar la consecución del objetivo, emite ready_to_plan. El objetivo representa la tarea que se espera que el robot lleve a cabo. En este caso, el sistema sale del bucle de adquisición de evidencias y pasa a la planificación condicionada por las evidencias.
Entorno de cocina y configuración robótica
Utilizamos un entorno de cocina para preparar sopa de pollo. La tarea requiere una planificación de larga duración que incluya la búsqueda de objetos fuera del área inicialmente visible, el acceso a espacios de almacenamiento, la colocación de ingredientes y condimentos y el uso de agua y un fogón.
El entorno consta de cinco objetos móviles, ocho superficies de apoyo —como encimeras, fogones, un fregadero y una olla—, dos espacios de almacenamiento cerrados por puertas o un cajón, y seis objetos articulados, como puertas y pomos. Los objetos se incorporan al problema de PDDL únicamente después de aparecer en las imágenes observadas por el robot. Este entorno se utilizó en VLM-TAMP como referencia para evaluar la planificación de tareas de larga duración y la viabilidad geométrica.
En nuestros experimentos, todas las puertas están cerradas inicialmente. El muslo de pollo se encuentra en el estante superior del frigorífico, y los saleros y pimenteros están, respectivamente, a la izquierda y a la derecha del armario desde el punto de vista del robot.
El robot solo puede utilizar el brazo izquierdo, por lo que la reorganización de objetos, el acceso a los espacios de almacenamiento y la manipulación de objetos articulados deben realizarse dentro de un espacio de trabajo alcanzable limitado. El robot puede manipular objetos móviles mediante acciones de recoger y colocar, y accionar juntas articuladas tirando, empujando y rotando la muñeca.
Por tanto, una ejecución satisfactoria exige gestionar conjuntamente las regiones no observadas, los espacios de almacenamiento cerrados y las restricciones geométricas durante la manipulación relacionada con la cocina.
Resultados
Evaluamos el efecto de EAFG comparando VLM-TAMP con y sin EAFG en tres configuraciones.
EAFG ofrece el mayor beneficio en S2, donde el objetivo está subespecificado: Recipe CR aumenta de 0.05 a 0.40 con GPT-5.5 y de 0.00 a 0.20 con Gemini-3.5-Flash, porque EAFG descubre la sal y la pimienta —no mencionadas, pero relevantes para la tarea— y las incorpora al plan de tareas.
En S3, EAFG mejora la gestión de objetivos inviables al aumentar Halt SR y reducir los intentos de ejecución innecesarios dirigidos a una zanahoria ausente.
En S1, donde la instrucción es explícita y todos los objetos necesarios están presentes, EAFG mantiene un rendimiento competitivo con la línea base y mejora Recipe CR con GPT-5.5.
Limitaciones
EAFG depende del módulo TAMP para instanciar cada subobjetivo de adquisición de evidencias como una secuencia de acciones de bajo nivel geométrica y cinemáticamente viable. Sin embargo, EAFG no gestiona explícitamente la recuperación ante fallos de manipulación que se produzcan durante la adquisición de evidencias.
Por tanto, cuando TAMP falla, el sistema puede no ser capaz de adquirir en el entorno esas evidencias relevantes para la tarea, lo que hace que la verificación de viabilidad evalúe la situación basándose en información insuficiente.
A pesar de esta limitación, EAFG es compatible con una amplia variedad de métodos que combinan VLM con planificadores estructurados, y se espera que su robustez mejore con el tiempo a medida que avancen los mecanismos subyacentes de planificación y retroalimentación.
Conclusión
Hemos propuesto EAFG, un marco que adquiere activamente evidencias visuales antes de planificar la tarea y utiliza una verificación de viabilidad para decidir si debe planificar, seguir explorando o detenerse.
Los experimentos muestran que EAFG mejora la finalización fundamentada de tareas bajo observabilidad parcial al descubrir objetos ocultos relevantes para la tarea antes de planificar. EAFG también favorece una detención adecuada cuando no pueden confirmarse los objetos necesarios, reduciendo los intentos de ejecución innecesarios dirigidos a objetos ausentes.
Preguntas frecuentes
¿Qué es Evidence Acquisition and Feasibility Gating? EAFG adquiere activamente evidencias visuales antes de planificar la tarea y utiliza esas evidencias para determinar si la planificación debe continuar.
¿Qué estados de verificación puede emitir el VLM? El VLM puede emitir ready_to_plan, need_more_evidence o halt.
¿Qué entorno de cocina se utiliza para la evaluación? Los experimentos utilizan un entorno de cocina para preparar sopa de pollo, con objetos ocultos, espacios de almacenamiento, ingredientes, agua y un fogón.
¿Cuál es una limitación de EAFG? EAFG no se recupera explícitamente de los fallos de manipulación durante la adquisición de evidencias, por lo que la viabilidad puede evaluarse con información insuficiente.