Estudiamos la recopilación guiada de datos (GDC): en lugar de recopilar datos indiscriminadamente y filtrarlos después, los métodos de GDC razonan activamente sobre qué datos recopilar, dónde hacerlo y qué interacciones priorizar para maximizar el rendimiento en despliegues posteriores. Nos centramos en el caso práctico en que no se dispone de acceso directo al entorno de despliegue, pero sí es posible recopilar datos en entornos auxiliares relacionados.
Exploración del espacio de parámetros de tareas mediante propuestas fundamentadas en el sentido común
A partir del contexto del dominio objetivo —demostraciones en vídeo, descripciones en lenguaje natural y recursos de entrenamiento disponibles, como entornos y objetos—, el modelo de visión y lenguaje (VLM) propone parámetros de tarea viables que especifican el entorno de recopilación, la configuración de la escena y la tarea de manipulación. El VLM no determina cuántos datos deben recopilarse para cada tarea; en cambio, identifica regiones prometedoras del espacio abierto de tareas, cuya utilidad se determina posteriormente mediante una evaluación basada en atribución.
Experimentos
Detalles del entrenamiento
Entrenamos una política Octo condicionada por lenguaje con los conjuntos de datos recopilados, inicializándola a partir del punto de control preentrenado publicado por los autores. Siguiendo trabajos anteriores, coentrenamos la política con las demostraciones de la tarea objetivo mediante una mezcla de muestreo 50/50.
Análisis cualitativo: ¿Qué datos recopila GUILD?
La composición final de los datos recopilados por GUILD para cada tarea objetivo del mundo real en la configuración Open-World muestra que, para cada objetivo, las tareas auxiliares son propias de esa configuración y están ordenadas de mayor a menor cantidad de datos recopilados. Cada barra representa el número de trayectorias recopiladas para una tarea auxiliar, y su color indica la iteración del ciclo externo en la que se introdujo dicha tarea. También se muestran las tareas auxiliares con mayor asignación de datos para cada objetivo.
GUILD prioriza las tareas auxiliares que conservan una estructura semántica y conductual relevante para la tarea objetivo, como objetos, recipientes o patrones de manipulación similares.
Conclusiones y limitaciones
Este trabajo se llevó a cabo en Robot Interactive Intelligence (RobIn) Lab, en The University of Texas at Austin, y recibió apoyo parcial de la National Science Foundation (CAREER Award FAIN 2543745), el NVIDIA Academic Grant Program y los recursos de TACC, así como de Amazon. Las opiniones, los hallazgos y las conclusiones o recomendaciones expresados en este material son los de sus autores y no reflejan necesariamente los puntos de vista de la National Science Foundation ni de los demás patrocinadores.
Detalles del experimento con participantes
Para evaluar la recopilación de datos guiada por personas, encuestamos a participantes con distintos niveles de experiencia en robótica. El participante con menos experiencia tenía aproximadamente un año de experiencia en robótica, mientras que los participantes con más experiencia contaban con más de cinco años de experiencia investigadora en aprendizaje robótico y manipulación. Para crear conjuntos de datos propuestos por personas, proporcionamos a los participantes la misma información disponible para los métodos automatizados, incluido el contexto de la tarea objetivo, las descripciones de los entornos de entrenamiento disponibles y el presupuesto total de recopilación de datos. Se indicó a los participantes que diseñaran una estrategia de recopilación de datos que maximizara el rendimiento en la tarea objetivo y respetara las restricciones presupuestarias especificadas. Es importante destacar que los participantes no tuvieron acceso a puntuaciones de atribución, resultados de referencia ni comentarios adicionales a la información inicial proporcionada a los métodos automatizados.
Para cada tarea objetivo, los participantes propusieron un conjunto de tareas dentro del mismo espacio de parámetros que utiliza GUILD. Por ejemplo, en la configuración Real Open-World, cada propuesta especificaba un entorno de recopilación, una configuración de objetos, una descripción de la tarea y la cantidad del presupuesto de recopilación asignada a esa tarea. A continuación, los conjuntos de datos propuestos se recopilaron mediante el mismo proceso de recopilación de datos empleado para los métodos automatizados: políticas programadas en simulación y teleoperación humana en el mundo real. Por último, todos los conjuntos de datos guiados por personas se evaluaron con el mismo protocolo de entrenamiento y evaluación de políticas descrito para cada configuración. Así se garantiza que las diferencias de rendimiento se deban únicamente a la estrategia de recopilación de datos y no al procedimiento de aprendizaje o evaluación.
Impacto del VLM utilizado
En todos nuestros experimentos, utilizamos GPT-5.2 para proponer tareas y ampliar el conjunto de soporte a partir de comentarios. Estudiamos la sensibilidad de GUILD a la elección del VLM sustituyendo GPT-5.2 por Gemini-2.5-Flash en nuestros experimentos con LIBERO, mientras mantenemos fijos todos los demás hiperparámetros. Los resultados se presentan como GUILD (Gemini).
Resultados por etapas para tareas del mundo real
Medimos las tasas de éxito por etapas en las evaluaciones del mundo real. A continuación se enumeran las etapas de cada tarea:
- Pink-cup-sink: Recoger la taza rosa → colocarla en el fregadero.
- Towel-drawer-close: Recoger la toalla → colocarla en el cajón abierto → cerrar el cajón.
- Bowl-pour: Agarrar el cuenco negro → verter su contenido en el cajón.
- Lemon-drawer-close: Recoger el limón → colocarlo en el cajón abierto → cerrar el cajón.
Preguntas frecuentes
¿Qué problema aborda GUILD? GUILD estudia la recopilación guiada de datos, en la que un método razona sobre qué datos recopilar y dónde hacerlo para mejorar el rendimiento en despliegues posteriores.
¿Qué información utiliza el VLM para proponer tareas? Utiliza el contexto del dominio objetivo, incluidas demostraciones en vídeo, descripciones en lenguaje natural y recursos de entrenamiento disponibles, como entornos y objetos.
¿Decide el VLM cuántos datos recopilar para cada tarea? No. Propone regiones prometedoras del espacio de tareas; una evaluación posterior basada en atribución determina su utilidad.
¿Cómo se evaluaron los conjuntos de datos guiados por personas? Se utilizó el mismo protocolo de entrenamiento y evaluación de políticas que para los conjuntos de datos de los métodos automatizados, de modo que las diferencias de rendimiento reflejan la estrategia de recopilación de datos.