La supervisión débil mediante representaciones sintéticas de modelos CAD se ha utilizado para alinear este espacio de características con las Coordenadas de Objeto Normalizadas (NOCs), centradas en la geometría. Sin embargo, los modelos entrenados con datos sintéticos y aislados tienen dificultades para generalizar a la acumulación de objetos, las oclusiones y la variación de apariencia presentes en escenas reales. Además de las limitaciones de los datos de entrenamiento, la búsqueda de vecinos más cercanos en espacios de características semánticas de alta dimensionalidad, empleada en trabajos anteriores, resulta costosa tanto en memoria como en cómputo y no aprovecha la estructura geométrica rígida del problema. El resultado son correspondencias ruidosas que a menudo requieren un refinamiento iterativo costoso para recuperar la precisión.
Definición del problema
Dada una imagen RGB, los parámetros intrínsecos de la cámara y un modelo CAD candidato recuperado mediante métodos disponibles de forma estándar, el objetivo es estimar una transformación 9D desde el sistema de coordenadas del CAD al sistema de coordenadas de la cámara.
Flujo general de ajuste de CAD
SUFLECA sigue el flujo indirecto estándar de alineación de CAD empleado en trabajos anteriores.
Conjuntos de datos
La partición DiffCAD abarca seis de las categorías de objetos de ScanNet25k y se evalúa sin NMS y utilizando profundidad sin ajuste fino. Esta partición fue introducida por DiffCAD, cuyos priors solo están disponibles para seis categorías.
Resultados
En CO3D, los resultados se obtienen con máscaras ocluidas y modelos CAD recuperados que no son exactos, lo que plantea importantes ambigüedades geométricas entre la parte frontal y la posterior, así como entre la izquierda y la derecha. En este escenario exigente, SUFLECA sitúa los objetos en 3D bastante mejor que los métodos competidores, ya que sus características permiten resolver estas ambigüedades con mayor eficacia. En las categorías conocidas, todas las variantes de SUFLECA ofrecen un rendimiento similar y superan a los métodos competidores, lo que pone de manifiesto la eficacia de nuestra supervisión débil. En las categorías no vistas, SUFLECA-blend suele superar a los demás métodos, ya que compensa la cobertura limitada de supervisión para objetos poco comunes a costa de una representación de características más grande.
Preguntas frecuentes
¿En qué se diferencia SUFLECA de los métodos existentes de alineación de CAD con imágenes? SUFLECA escala el aprendizaje de características mediante supervisión débil a partir de representaciones sintéticas de CAD, reduciendo la dependencia de datos reales anotados y mejorando la generalización a escenas con numerosos objetos.
¿Qué desafíos principales aborda SUFLECA? El método aborda las oclusiones, la variación de apariencia y ambigüedades geométricas como la confusión entre la parte frontal y la posterior, que surgen al utilizar modelos CAD aislados en entornos reales.
¿Cómo se evalúa SUFLECA en distintas categorías de objetos? El método se prueba en la partición DiffCAD de ScanNet25k (seis categorías) y en el conjunto de datos CO3D, con resultados separados para categorías de objetos conocidas y no vistas.
¿Qué contrapartida introduce SUFLECA-blend? La variante blend utiliza una representación de características más grande para compensar la supervisión limitada en objetos poco comunes, lo que mejora el rendimiento en categorías no vistas a costa de un mayor consumo de memoria.