Escalamos la articulación de objetos 3D en un solo paso mediante el uso de modelos de lenguaje y visión para pseudoetiquetar activos 3D sintéticos, lo que permite una arquitectura basada en transformer que produce segmentación de partes y parámetros de movimiento articular en una sola pasada hacia adelante. Nuestro método admite la solicitud cinemática para el control directo sobre los parámetros de articulación y es robusto frente a mallas generadas por IA, facilitando la generación de objetos 3D articulados condicionados por imágenes para simulación y entrenamiento de IA incorporada.
Pseudoetiquetado de partes articuladas 3D con modelos de lenguaje y visión
Etiquetamos activos generados por IA de HY3D-Bench-Synthetic utilizando este flujo, excluyendo objetos que son completamente rígidos o que presentan deformaciones suaves no rígidas. Esto produce miles de activos 3D sintéticos que abarcan docenas de categorías.
Aumento de modelos 3D con segmentación de partes
Al seleccionar activos de HY3D-Bench-Part-Level, filtramos aquellos con más de cierto umbral de partes visibles, ya que los mapas de segmentación densos dificultan que el VLM distinga colores de manera confiable y asigne descripciones precisas. Subtitulamos los miles de objetos restantes y los incluimos en el entrenamiento.
Mecanismo de atención
Los tokens de consulta están destinados a inferir la asociación de cada punto de superficie de consulta con la parte correspondiente. Se actualizan mediante atención cruzada con los tokens de forma para obtener información sobre la forma del objeto, y con los tokens de parte (actualizados) para obtener información sobre las partes. Crucialmente, no utilizamos autoatención entre tokens de consulta, por rapidez y para evitar que el resultado dependa del número de puntos de consulta decodificados juntos.
Decodificadores
Una vez que se obtienen las versiones finales de los tokens de parte y consulta, los cabezales decodificadores extraen la segmentación de partes y los parámetros de movimiento articular.
Generación de objetos 3D articulados y solicitud cinemática
Si bien nuestro modelo toma activos 3D existentes como entrada, es robusto frente a mallas generadas por IA, lo que permite la generación de objetos 3D articulados condicionados por imágenes a través de un generador 3D estándar. Este flujo puede apoyar la creación de diversos activos de simulación para el entrenamiento de IA incorporada.
Casos de error y limitaciones
Si bien nuestro modelo es generalmente robusto frente a mallas generadas por IA, aún pueden ocurrir artefactos de segmentación, como en la perilla derecha del reproductor de CD. Debido a que cada eje articular se estima agregando votos de puntos de consulta en la parte predicha, estos errores locales pueden propagarse a la estimación del movimiento articular. Los artefactos en las mallas generadas también pueden degradar la calidad de la predicción, como lo muestra el componente flotante en el reproductor de CD y la falta de separación de partes en el refrigerador.
Preguntas frecuentes
¿Qué tipos de activos 3D admite Instruct-Particulate? El modelo admite tanto activos 3D existentes como mallas generadas por IA, lo que lo hace adecuado para la generación de objetos 3D articulados condicionados por imágenes a través de generadores 3D estándar.
¿Cómo evita el modelo problemas de rendimiento con mapas de segmentación densos? Los activos con demasiadas partes visibles se filtran durante el entrenamiento, ya que los mapas de segmentación densos dificultan que el modelo de lenguaje y visión distinga colores de manera confiable y asigne descripciones precisas.
¿Por qué el modelo evita la autoatención entre tokens de consulta? La autoatención entre tokens de consulta se omite por rapidez y para evitar que el resultado dependa del número de puntos de consulta decodificados juntos.
¿Cuáles son los principales modos de fallo de Instruct-Particulate? Los artefactos de segmentación en mallas generadas por IA pueden causar errores locales que se propagan a la estimación del movimiento articular, y los artefactos en las propias mallas generadas pueden degradar la calidad general de la predicción.