Presentamos AFUN, un modelo fundacional de affordances que aprende una representación unificada de la funcionalidad de objetos a partir de datos visuales. Nuestro modelo utiliza un modelo de lenguaje y visión (VLM) congelado con tokens MetaQuery aprendibles para extraer características relevantes para la tarea, que luego se emplean para predecir máscaras de segmentación de affordances y trayectorias de movimiento futuro. Proponemos un esquema de entrenamiento en tres etapas que alinea progresivamente la interfaz MetaQuery con un modelo fundacional de segmentación, aprende una segmentación confiable de affordances condicionada a la tarea y, finalmente, ajusta la predicción de movimiento. El modelo se entrena en un nuevo conjunto de datos de affordances a gran escala que abarca múltiples dominios de interacción robótica. Los resultados experimentales demuestran que AFUN generaliza en diversas tareas de manipulación y supera a los métodos anteriores de detección de affordances tanto en precisión de segmentación como en calidad de predicción de movimiento.
Arquitectura de la red
El enfoque MetaQuery sirve como interfaz para conectar un VLM congelado con modelos posteriores. Un pequeño conjunto de tokens especiales aprendibles se añade al mensaje de entrada del VLM y se procesa a través del transformador. Los estados ocultos en la última capa del VLM actúan como una característica de condicionamiento compacta para el modelo posterior. Este enfoque puede extraer condiciones visuales detalladas y transferir capacidades de razonamiento a tareas de generación multimodal, como la edición de imágenes.
Esquema de entrenamiento
Entrenar el modelo completo directamente es inestable: los tokens MetaQuery inicializados aleatoriamente proporcionan una señal de condicionamiento deficiente para el modelo de segmentación, y las predicciones de máscara ruidosas harían que la supervisión del movimiento fuera ambigua. Por lo tanto, entrenamos nuestro modelo en tres etapas:
- Etapa I: Alinear la interfaz MetaQuery con el modelo fundacional de segmentación
- Etapa II: Aprender una segmentación de affordances condicionada a la tarea y confiable
- Etapa III: Ajustar la predicción de movimiento cuando el modelo ya es robusto en la predicción de segmentación
Los conocimientos previos preentrenados (incluyendo Qwen-VL, el modelo de segmentación y el modelo de predicción de movimiento) se mantienen congelados durante todo el entrenamiento.
Preprocesamiento entre conjuntos de datos
Nuestro pipeline de preprocesamiento de datos se basa en adaptadores específicos de cada fuente que comparten la misma lógica y estructura de procesamiento. Cada adaptador escribe el mismo esquema a nivel de intervalo: fotogramas de observación/contacto, datos RGB-D, lenguaje de la tarea, calibración de la cámara y el lapso de video. Lo que difiere es cómo se recuperan estos campos de cada conjunto de datos original. Por ejemplo, el conjunto de datos AgiBotWorld-Beta proporciona anotaciones de intervalos de acción, y nosotros usamos cada acción anotada como un intervalo. Cargamos los fotogramas RGB/depth emparejados de la cámara principal para el intervalo y utilizamos la cámara principal calibrada no ojo de pez.
Galería del conjunto de datos de affordances
Seleccionamos 48 entradas del conjunto de datos AFUN y visualizamos cada una como el fotograma de observación con la máscara de affordance y la trayectoria 3D ajustada mediante la curva spline de Bézier. La instrucción en lenguaje para cada muestra se muestra directamente debajo de su imagen.
Conversión de otros conjuntos de datos para el entrenamiento de segmentación
El mensaje a nivel de parte se usa únicamente para obtener la máscara; no se utiliza como consulta de entrenamiento, ya que nombrar directamente la parte contactada filtraría la respuesta. Por lo tanto, ejecutamos una segunda pasada de consulta sobre la imagen original y la superposición de la máscara seleccionada. Esta pasada reescribe la muestra en una instrucción natural a nivel de tarea que implica la affordance sin nombrar explícitamente la región resaltada.
Preguntas frecuentes
¿Cómo maneja AFUN la inestabilidad del entrenamiento causada por tokens MetaQuery inicializados aleatoriamente? El modelo utiliza un esquema de entrenamiento en tres etapas que alinea progresivamente los tokens MetaQuery con el modelo de segmentación antes de aprender affordances condicionadas a la tarea y luego ajustar la predicción de movimiento.
¿Qué modelos preentrenados se mantienen congelados durante el entrenamiento de AFUN? El modelo de lenguaje y visión Qwen-VL, el modelo de segmentación SAM3 y el modelo de predicción de movimiento Sonata permanecen congelados durante todas las etapas de entrenamiento.
¿Cómo asegura el pipeline de preprocesamiento entre conjuntos de datos la consistencia entre diferentes conjuntos de datos? Los adaptadores específicos de cada fuente comparten la misma lógica de procesamiento y escriben datos en un esquema común a nivel de intervalo que contiene fotogramas de observación/contacto, datos RGB-D, lenguaje de la tarea, calibración de la cámara e información del lapso de video.
¿Por qué se necesita una segunda pasada de consulta al convertir conjuntos de datos para el entrenamiento de segmentación? La segunda pasada reescribe la muestra en una instrucción natural a nivel de tarea que implica la affordance sin nombrar explícitamente la región resaltada, evitando que el modelo filtre la respuesta durante el entrenamiento.