캐비닛, 플라이어, 책상 램프, 유모차, 접이식 의자, 산업용 공구 등 관절형 물체는 현실 세계에 널리 존재하며, 3D 콘텐츠 제작, 게임, 물리 설계, 로봇공학 등 다양한 분야에서 중요합니다. 이러한 물체의 기능은 형상(geometry)만큼이나 부품의 움직임에 의존하기 때문에, 형상만 모델링하는 것으로는 충분하지 않습니다. 유용한 표현은 부품 계층 구조, 관절, 운동 범위까지 포착해야 합니다. 우리는 코드 생성을 통해 대규모 관절형 3D 객체를 구축하는 에이전트인 Articraft를 소개합니다. Articraft는 세 가지 원칙을 중심으로 설계되었습니다: 수동 개입 없이 관절형 자산을 생성하는 자동성(automatic), 외부 그래픽 소프트웨어를 피해 자산당 추론 비용을 낮추는 경량성(lightweight), 복잡한 메커니즘을 포함한 다양한 관절형 카테고리를 포괄하는 표현력(expressive)입니다.
에이전트 하네스와 SDK
핵심 기술 혁신은 에이전트의 설계로, 두 가지 구성 요소에 기반합니다: 에이전트 하네스(agent harness)와 LLM 친화적인 SDK(Software Development Kit)입니다. 이 두 요소는 일반 LLM이 재학습 없이 관절형 3D 자산을 생성할 수 있게 해주며, LLM의 코딩 능력과 일상 물체의 구조와 움직임에 대한 사전 지식을 활용합니다. 이 설계는 Articraft를 이전의 LLM 기반 관절형 자산 생성 방법과 차별화합니다.
SDK는 LLM이 자산 생성 방식을 더 쉽게 이해하도록 돕습니다. LLM은 이 SDK를 사용하여 단일 프로그램을 작성하도록 요청받고, 실행되면 완전한 관절형 자산을 생성합니다. SDK는 집중적이고 표현력이 뛰어나며 LLM 친화적입니다: 다양한 관절형 카테고리를 포괄하면서도 친숙한 코딩 패턴에 가까워 안정적인 생성을 유지합니다. 저수준 기본 요소(예: 원기둥 추가)와 고수준 추상화(예: 힌지 추가)를 모두 제공하여 프로그램을 간결하고 읽기 쉽게 유지하며, LLM이 객체별 검증 코드를 작성하고 실행하여 구조적 무결성을 테스트할 수 있게 합니다.
Articraft 하네스
하네스는 LLM을 단일 패스 생성기가 아닌 반복적 에이전트로 변환합니다. 하네스는 최소한의 작업 공간과 인터페이스를 제공합니다: 단일 프로그램을 편집하고, 실행하고, 결과 3D 자산에 대한 피드백을 받거나 요청합니다. 하네스의 설계는 얼마나 많은 컨텍스트를 노출할지, 컨텍스트가 어떻게 구조화되는지, 생성된 자산이 어떻게 검증되는지, 반복을 언제 중단할지에 대한 의도적인 선택을 포함합니다.
일반 코딩 에이전트와 달리, Articraft 에이전트는 복잡한 코드베이스에서 직접 작동하지 않습니다. 대신, 하네스는 에이전트에게 하나의 쓰기 가능한 아티팩트인 model.py와 SDK 문서 및 선별된 예제에 대한 읽기 전용 접근 권한만 포함된 작업 공간을 제공합니다.
Articraft 에이전트 평가
생성된 자산의 품질을 평가하기 위해, 참가자들은 텍스트 프롬프트와 함께 6가지 경쟁 방법(우리의 두 가지 변형 포함)으로 생성된 3D 자산을 무작위 순서로 제시받았습니다. 지각 연구는 다양한 학문적 배경을 가진 125명의 비전문 대학생에게 분배되었으며, 각 참가자는 약 40개의 무작위 할당 객체를 평가하여 총 5000개의 비교를 제출했습니다. 각 참가자는 6개 중에서 프롬프트 일치도와 전반적 품질에 기반하여 세 가지 최고 결과를 선택하고 순위를 매겼습니다.
Articraft-10K 데이터셋 평가
에이전트를 검증한 후, 새로운 Articraft-10K 데이터셋이 훈련 데이터로서 그리고 응용 프로그램에서 얼마나 효과적인지 평가합니다. Articraft의 계산 요구 사항은 생성이 모델을 훈련하지 않고 렌더링된 시각적 피드백이 필요하지 않기 때문에 적습니다. 값비싼 추론 단계는 외부 LLM API 백엔드에서 제공되며, 로컬 하네스는 CPU 워커에서 model.py, CAD 및 메시 구축, URDF 내보내기, 작성된 테스트, 품질 관리 검사를 실행합니다. Articraft 생성, 데이터셋 구체화, 컴파일/QC 루프에 GPU가 필요하지 않습니다.
시뮬레이션 준비 상태
제안된 프레임워크의 시뮬레이션 준비 상태를 검증하기 위해, 생성된 URDF 파일을 NVIDIA Isaac Sim에 직접 가져왔습니다. 각 구성 요소의 물리적 속성(예: 감쇠 계수, 질량)은 LLM을 활용하여 자동으로 할당되었습니다. 생성된 자산은 물리 기반 시뮬레이션 환경과 본질적으로 호환됩니다. 실제 작업 실행을 위해 시스템은 URDF에서 전역 좌표를 검색하고 표준 역기구학 및 제어 알고리즘을 사용합니다. 고충실도 및 깨끗한 충돌 메시는 물리적 상호작용과 충돌 정확도에서 우수한 성능을 보장합니다.
실패 사례와 검증 트레이드오프
한 가지 실패 유형은 지역 구조 검사를 통과했음에도 전반적인 형상 품질이 낮은 경우입니다. 예를 들어, '나사 캡 병' 사례에서 병 껍질이 눈에 띄게 변형되었지만, 생성된 껍질이 여전히 연결된 메시로 컴파일되고 허용되지 않는 부품 간 겹침을 유발하지 않으며 캡, 목, 회전축에 대한 작성된 지역 테스트를 통과했기 때문에 테스트 스위트에서 탐지되지 않았습니다. 검사는 구조적 일관성과 선택된 기하학적 관계를 확인하지만, 카테고리 수준의 시각적 타당성이나 전반적인 표면 품질을 완전히 판단하지는 않습니다.
두 번째 실패 유형은 현재 SDK로 간결하게 표현하기 어색한 메커니즘이나 형상에서 발생합니다. 예를 들어, '트리거 스프레이 병' 사례는 분사 헤드 메커니즘의 여러 부품을 포착하지만, 트리거 형상과 움직임을 깔끔하게 모델링하기 어렵고 트리거가 움직이는 동안 병과 겹칠 수 있습니다. 이러한 사례는 일부 카테고리에 더 풍부한 메커니즘별 추상화나 추가 자세 검사가 필요함을 시사합니다.
마지막으로, 더 복잡한 카테고리에서 산발적인 실패가 발생합니다. 에이전트가 내부 구조를 생략하거나, 외부와 관절이 타당함에도 불구하고 형상 안을 비우지 못하는 경우가 있습니다(예: '밥솥'과 '힌지 도어가 있는 냉장고' 사례). 이러한 오류는 저렴한 검증과 더 강력한 의미론적 또는 기능적 검사 간의 현재 트레이드오프를 반영합니다. 하네스는 많은 구조적 제약 조건을 효율적으로 강제할 수 있지만, 카테고리별 현실감과 완전성에 대한 모든 개념을 아직 완전히 포착하지는 못합니다.
결론
우리는 확장 가능한 관절형 3D 자산 생성을 위한 에이전트 시스템인 Articraft를 소개했습니다. 작업별 SDK와 제한된 실행 하네스를 결합함으로써, Articraft는 관절형 자산 생성을 렌더링된 시각적 검사에 의존하지 않고 검증 및 기하학적 피드백에 기반한 편집-실행-수정 루프로 전환합니다. 이 에이전트 시스템을 사용하여, 우리는 소스 프로그램, 의미론적 부품 구조, 관절 사양, 생성 추적을 포함한 10K 개 이상의 고품질 관절형 3D 자산으로 구성된 대규모 데이터셋 Articraft-10K를 생성했습니다. 우리의 결과는 도메인 특화 프로그래밍 인터페이스와 실행 하네스가 확장 가능하고 강건한 관절형 자산 생성의 핵심 요소이며, 피드포워드 모델 훈련, 시뮬레이션, VR 상호작용 등 다운스트림 응용 프로그램을 가능하게 함을 시사합니다.
자주 묻는 질문
Articraft는 모델을 훈련하지 않고 어떻게 관절형 3D 자산을 생성하나요? Articraft는 일반 LLM을 사용하여 특화된 SDK에 대한 코드를 작성하고, 해당 코드를 실행하여 가벼운 반복 루프에서 완전한 관절형 자산을 생성합니다.
Articraft는 어떤 유형의 관절형 객체를 생성할 수 있나요? 캐비닛, 플라이어, 책상 램프, 유모차, 접이식 의자, 쿼드콥터 드론, 나사 캡 병 등 다양한 카테고리의 복잡한 메커니즘을 생성할 수 있습니다.
Articraft는 자산 생성에 GPU가 필요한가요? 아니요, Articraft 생성, 데이터셋 구체화, 컴파일/QC 루프는 모두 CPU 워커에서 실행되며, 유일한 GPU 의존 단계는 외부 LLM API 호출입니다.
Articraft 시스템의 주요 실패 모드는 무엇인가요? 지역 구조 검사를 통과하지만 전반적 형상 품질이 낮은 경우, 일부 메커니즘을 SDK로 간결하게 표현하기 어려운 경우, 복잡한 카테고리에서 내부 구조가 산발적으로 누락되는 경우 등이 있습니다.