Trabajo relacionado
Prompting visual estructurado
Una línea de trabajo complementaria reformula la escena como entradas 2D que los modelos lingüísticos multimodales ya interpretan bien. Set-of-Mark superpone referencias visuales sobre las imágenes; GPT4Scene empareja fotogramas de vídeo con una imagen global en vista cenital; y Struct2D combina una vista cenital señalizada con metadatos de los objetos, tanto sin entrenamiento específico como mediante ajuste fino.
Estos métodos aplican la misma representación visual a todas las preguntas, mientras que el módulo de vista cenital de GraFT la genera bajo demanda. Cada vista se condiciona por la pregunta y muestra únicamente los objetos mencionados.
Razonamiento espacial aumentado con herramientas
Otra línea de trabajo proporciona al modelo acceso a herramientas externas. SpatialAgent, de SpatialScore, TIGeR y SpaceTools permiten que un modelo lingüístico multimodal invoque estimadores de profundidad, pose o cajas delimitadoras, normalmente repitiendo la percepción para cada pregunta.
GraFT ejecuta la percepción una sola vez, durante la construcción del grafo. Sus herramientas de razonamiento operan después con geometría determinista sobre el grafo, de modo que el coste de la percepción se amortiza entre todas las preguntas.
Módulo simbólico: herramientas geométricas
La caja de cada objeto codifica su posición, tamaño y orientación en el espacio tridimensional con la precisión de la percepción de entrada. Por tanto, cualquier magnitud que dependa de esa geometría se obtiene de forma determinista a partir de las cajas; su precisión procede de la percepción y no se vuelve a estimar mediante el modelo principal.
Inferir esas magnitudes a partir de una imagen solo añadiría errores. Por eso, GraFT las calcula directamente desde el grafo de escenas 3D mediante herramientas geométricas simbólicas que leen los datos de las cajas:
- Una herramienta de conteo enumera cada clase de objeto junto con el número de instancias.
- Una herramienta de tamaño devuelve el ancho, la profundidad y la altura de un objeto como las dimensiones de su caja.
- Una herramienta de distancia mide la distancia entre superficies de las cajas de dos clases de objetos.
- Una herramienta de proximidad ordena varias clases candidatas según su distancia mínima a un objeto de referencia y determina cuál está más cerca o más lejos.
- Una herramienta de habitación devuelve el ancho, la profundidad, la altura y la superficie del suelo de la habitación.
Cada herramienta opera de forma determinista sobre las cajas, de modo que ninguna parte del cálculo numérico pasa por el modelo principal.
Resolver una tarea geométrica requiere exactamente una llamada a una herramienta. GraFT nunca encadena herramientas ni introduce la salida de una en la siguiente, por lo que el módulo simbólico se mantiene como un único paso determinista.
GraFT frente a trabajos anteriores
En el último experimento, GraFT se evalúa para comprobar si puede igualar a modelos entrenados específicamente para el razonamiento espacial. Se compara directamente con Struct2D en los subconjuntos que este método presenta y en el VSI-Bench completo, bajo condiciones de percepción realistas.
Las tablas mencionadas no aparecen en el texto del artículo proporcionado.
Conclusión
GraFT es un marco sin entrenamiento que dota de razonamiento espacial tridimensional a un modelo lingüístico multimodal congelado mediante la operación sobre un único grafo de escenas 3D.
A partir de este grafo de escenas 3D, GraFT desarrolla tres capacidades complementarias:
- Herramientas geométricas simbólicas para estimar magnitudes.
- Una vista cenital renderizada de forma selectiva para representar la disposición allocéntrica.
- Fotogramas egocéntricos ordenados por geometría para captar atributos visuales.
Cada capacidad proporciona al modelo principal las evidencias que exige su tarea. Los estudios por módulo, tanto con percepción de referencia como con percepción realista, validan cada capacidad en las tareas para las que está diseñada.
GraFT mejora entre un 37 % y un 65 % el promedio del VSI-Bench en tres modelos principales de código abierto, alcanza hasta 51,4 puntos y supera a varios modelos ajustados para el razonamiento espacial. Incluso un modelo principal de 3B parámetros supera a la línea base más potente de 72B.
Estos resultados demuestran que un modelo lingüístico multimodal congelado, combinado con un grafo de escenas 3D compacto, ya constituye un razonador espacial sólido, sin supervisión espacial ni un codificador específico para el modelo principal.
Su principal limitación es que la precisión está acotada por la calidad del grafo de escenas. Como este grafo compacto es fácil de mantener y todas las capacidades lo comparten, añadir nuevos módulos sobre él puede ampliar GraFT a otras tareas espaciales.
Construcción del grafo de escenas 3D
Con percepción de referencia, el grafo se construye a partir de las anotaciones de los conjuntos de datos ARKitScenes, ScanNet y ScanNet++.
Con percepción realista, GraFT sigue la configuración de Struct2D. La escena se reconstruye sin conexión, los objetos se detectan con UniDet3D y Mask3D, y los resultados se convierten en la misma estructura de grafo que el grafo de escenas 3D de referencia. Este grafo sirve de interfaz para los módulos de razonamiento.
Las poses de cámara y los parámetros intrínsecos de cada fotograma se conservan junto con el grafo para el módulo egocéntrico.
Preguntas frecuentes
¿Qué es GraFT? GraFT es un marco sin entrenamiento que permite a un modelo lingüístico multimodal congelado realizar razonamiento espacial tridimensional sobre un único grafo de escenas 3D.
¿Qué capacidades obtiene GraFT de su grafo de escenas? Proporciona herramientas geométricas simbólicas, vistas cenitales renderizadas de forma selectiva y fotogramas egocéntricos ordenados por geometría.
¿Cómo aborda GraFT las tareas geométricas? Calcula las magnitudes de forma determinista a partir de las cajas de los objetos mediante exactamente una llamada a una herramienta simbólica, sin encadenarlas.
¿Cuál es la principal limitación de GraFT? Su precisión está acotada por la calidad del grafo de escenas construido.