Los objetos articulados, como armarios, alicates, lámparas de escritorio, cochecitos, sillas plegables y herramientas industriales, son omnipresentes en el mundo real y, por tanto, importantes para aplicaciones en creación de contenido 3D, videojuegos, diseño físico y robótica. Dado que su función depende tanto del movimiento de sus partes como de su geometría, modelar solo la forma es insuficiente: una representación útil también debe capturar la jerarquía de partes, las articulaciones y el rango de movimiento. Presentamos Articraft, un agente que construye objetos 3D articulados a escala generando código. Articraft se diseñó en torno a tres principios: debe ser automático, produciendo un activo articulado sin intervención manual; ligero, evitando software gráfico externo pesado para mantener bajo el costo de inferencia por activo; y expresivo, cubriendo una amplia gama de categorías articuladas, incluidos mecanismos complejos.
El arnés del agente y el SDK
La innovación técnica clave es el diseño del agente, que se basa en dos componentes: un arnés de agente y un kit de desarrollo de software (SDK) amigable para LLM. Juntos, permiten que modelos de lenguaje grandes (LLM) comerciales generen activos 3D articulados sin necesidad de reentrenamiento, aprovechando la capacidad de codificación del LLM y su conocimiento previo de cómo se estructuran y mueven los objetos cotidianos. Este diseño distingue a Articraft de métodos anteriores basados en LLM para la generación de activos articulados.
El SDK facilita que el LLM entienda cómo generar activos. Se le pide al LLM que escriba un solo programa usando este SDK; una vez ejecutado, el programa produce un activo articulado completo. El SDK es enfocado, expresivo y amigable para LLM: abarca una amplia gama de categorías articuladas mientras se mantiene lo suficientemente cerca de patrones de codificación familiares para que la generación sea confiable. Expone tanto primitivas de bajo nivel (por ejemplo, agregar un cilindro) como abstracciones de alto nivel (por ejemplo, agregar una bisagra), manteniendo los programas compactos y legibles, y permite que el LLM escriba y ejecute código de validación específico del objeto para probar la integridad estructural.
El arnés de Articraft
El arnés convierte al LLM en un agente iterativo en lugar de un generador de un solo paso. El arnés expone un espacio de trabajo e interfaz mínimos: editar un solo programa, ejecutarlo y recibir o solicitar comentarios sobre el activo 3D resultante. Su diseño codifica decisiones deliberadas sobre cuánto contexto exponer, cómo se estructura ese contexto, cómo se validan los activos generados y cuándo dejar de iterar.
A diferencia de los agentes de codificación generales, el agente Articraft no opera directamente sobre un código base complejo. En su lugar, el arnés presenta al agente un espacio de trabajo que contiene solo un artefacto escribible, model.py, más acceso de solo lectura a la documentación del SDK y ejemplos seleccionados.
Evaluación del agente Articraft
Para evaluar la calidad de los activos generados, se presentaron a los participantes indicaciones de texto junto con los activos 3D generados por los seis métodos competidores (incluyendo dos variantes del nuestro) en un orden aleatorio. El estudio perceptual se distribuyó entre 125 estudiantes universitarios no expertos con diversos antecedentes académicos, cada participante evaluó alrededor de 40 objetos asignados aleatoriamente, obteniendo un total de 5000 comparaciones enviadas. Se pidió a cada participante que seleccionara y clasificara los tres mejores resultados de seis según la alineación con la indicación y la calidad general.
Evaluación del conjunto de datos Articraft-10K
Habiendo validado el agente, ahora evaluamos la efectividad del nuevo conjunto de datos Articraft-10K como datos de entrenamiento y en aplicaciones. Los requisitos de cómputo de Articraft son modestos porque la generación no entrena un modelo y no requiere retroalimentación visual renderizada. El paso costoso de inferencia lo proporcionan las API de LLM externas, mientras que el arnés local ejecuta model.py, la construcción de CAD y mallas, la exportación a URDF, las pruebas creadas y los controles de calidad en CPUs. No se requiere GPU para la generación de Articraft, la materialización del conjunto de datos o el bucle de compilación/control de calidad.
Preparación para simulación
Para validar la preparación para simulación de nuestro marco propuesto, importamos directamente los archivos URDF generados en NVIDIA Isaac Sim. Las propiedades físicas de cada componente, como factores de amortiguamiento y masa, se asignaron automáticamente aprovechando un modelo de lenguaje grande. Los activos generados son inherentemente compatibles con entornos de simulación basados en física. Para la ejecución de tareas prácticas, el sistema recupera coordenadas globales del URDF y emplea algoritmos estándar de cinemática inversa y control. Las mallas de colisión de alta fidelidad y limpias garantizan un rendimiento superior en interacciones físicas y precisión de colisión.
Casos de fallo y compensaciones en la validación
Una clase de fallos es la mala calidad global de la forma a pesar de pasar las verificaciones estructurales locales. Por ejemplo, en un caso de "botella con tapón de rosca", la carcasa de la botella está visiblemente deformada pero no es detectada por el conjunto de pruebas porque la carcasa generada sigue compilando como una malla conectada, no introduce una superposición de partes no permitida y satisface las pruebas locales creadas para el tapón, el cuello y el eje de rotación. Las verificaciones confirman la consistencia estructural y relaciones geométricas seleccionadas, pero no juzgan completamente la plausibilidad visual a nivel de categoría o la calidad superficial global.
Una segunda clase de fallos surge de mecanismos o formas que son difíciles de expresar de manera compacta en el SDK actual. Por ejemplo, un caso de "botella con gatillo rociador" captura varias partes del mecanismo del cabezal rociador, pero la forma y el movimiento del gatillo son difíciles de modelar limpiamente, y el gatillo puede superponerse a la botella durante su movimiento. Estos casos sugieren que algunas categorías se beneficiarían de abstracciones más ricas específicas del mecanismo o verificaciones de pose adicionales.
Finalmente, algunos fallos son esporádicos en categorías más complejas. El agente puede omitir la estructura interna o no ahuecar las formas incluso cuando el exterior y la articulación son plausibles, como en casos de "arrocera" y "refrigerador con puertas con bisagras". Estos errores reflejan la compensación actual entre validación barata y verificaciones semánticas o funcionales más sólidas: el arnés puede imponer eficientemente muchas restricciones estructurales, pero aún no captura completamente todas las nociones de realismo e integridad específicas de cada categoría.
Conclusiones
Presentamos Articraft, un sistema agente para la generación escalable de activos 3D articulados. Al combinar un SDK específico para la tarea con un arnés de ejecución restringido, Articraft convierte la creación de activos articulados en un bucle de editar–ejecutar–reparar basado en validación y retroalimentación geométrica, sin depender de inspección visual renderizada. Usando este sistema agente, creamos Articraft-10K, un conjunto de datos a gran escala de más de 10,000 activos 3D articulados de alta calidad con programas fuente, estructuras semánticas de partes, especificaciones de articulaciones y trazas de generación. Nuestros resultados sugieren que la interfaz programática específica del dominio y el arnés de ejecución son ingredientes clave para la generación escalable y robusta de activos articulados, permitiendo aplicaciones posteriores en entrenamiento de modelos feed-forward, simulación e interacción en realidad virtual.
Preguntas frecuentes
¿Cómo genera Articraft activos 3D articulados sin entrenar un modelo? Articraft utiliza modelos de lenguaje grandes comerciales para escribir código contra un SDK especializado, luego ejecuta ese código para producir activos articulados completos en un bucle iterativo ligero.
¿Qué tipos de objetos articulados puede crear Articraft? Puede generar una amplia gama de categorías, incluyendo armarios, alicates, lámparas de escritorio, cochecitos, sillas plegables, drones cuadricópteros, botellas con tapón de rosca y muchos otros mecanismos complejos.
¿Requiere Articraft una GPU para la generación de activos? No, la generación de Articraft, la materialización del conjunto de datos y el bucle de compilación/control de calidad se ejecutan completamente en CPUs, siendo el único paso que depende de GPU las llamadas a la API de LLM externas.
¿Cuáles son los principales modos de fallo del sistema Articraft? Los fallos incluyen mala calidad global de la forma que pasa verificaciones estructurales locales, dificultad para expresar ciertos mecanismos de manera compacta en el SDK y omisiones esporádicas de estructura interna en categorías complejas.