우리는 비전-언어 모델을 사용해 합성 3D 자산에 의사 레이블을 부여함으로써 피드포워드 3D 객체 관절화를 확장합니다. 이를 통해 단일 순방향 패스에서 부품 분할과 관절 운동 매개변수를 출력하는 트랜스포머 기반 아키텍처를 구현합니다. 우리의 방법은 운동학적 프롬프트를 통해 관절화 매개변수를 직접 제어할 수 있으며, AI 생성 메시에도 강건하여 시뮬레이션 및 임베디드 AI 훈련을 위한 이미지 조건부 관절화 3D 객체 생성을 가능하게 합니다.
비전-언어 모델을 이용한 3D 관절 부품 의사 레이블링
우리는 HY3D-Bench-Synthetic에서 AI 생성 자산에 이 파이프라인을 적용하며, 완전히 강체이거나 부드러운 비강체 변형을 보이는 객체는 제외합니다. 그 결과 수천 개의 합성 3D 자산이 수십 개의 카테고리에 걸쳐 생성됩니다.
부품 분할된 3D 모델 증강
HY3D-Bench-Part-Level에서 자산을 선택할 때, 특정 임계값보다 많은 가시 부품을 가진 자산은 필터링합니다. 밀집된 분할 맵은 VLM이 색상을 안정적으로 구분하고 정확한 캡션을 할당하기 어렵게 만들기 때문입니다. 나머지 수천 개의 객체에 캡션을 추가하고 훈련에 포함시킵니다.
어텐션 메커니즘
쿼리 토큰은 각 쿼리 표면점이 해당 부품에 속하는지 추론하는 역할을 합니다. 쿼리 토큰은 형태 토큰에 크로스 어텐션을 적용해 객체 형태에 대한 정보를 얻고, (업데이트된) 부품 토큰에 크로스 어텐션을 적용해 부품 정보를 얻습니다. 중요한 점은 속도 향상과 결과가 함께 디코딩되는 쿼리 포인트 수에 의존하는 것을 피하기 위해 쿼리 토큰 간 셀프 어텐션을 사용하지 않는다는 것입니다.
디코더
최종 버전의 부품 및 쿼리 토큰이 얻어지면, 디코더 헤드가 부품 분할과 관절 운동 매개변수를 추출합니다.
관절화 3D 객체 생성 및 운동학적 프롬프팅
우리 모델은 기존 3D 자산을 입력으로 받지만 AI 생성 메시에도 강건하므로, 기성 3D 생성기를 통한 이미지 조건부 관절화 3D 객체 생성을 가능하게 합니다. 이 파이프라인은 임베디드 AI 훈련을 위한 다양한 시뮬레이션 자산 생성에 기여할 수 있습니다.
실패 사례 및 한계
우리 모델은 일반적으로 AI 생성 메시에 강건하지만, CD 플레이어의 오른쪽 손잡이처럼 분할 오류가 발생할 수 있습니다. 각 관절 축은 예측된 부품의 쿼리 포인트 집계를 통해 추정되므로, 이러한 국소적 오류가 관절 운동 추정으로 전파될 수 있습니다. 생성된 메시의 아티팩트는 예측 품질을 저하시킬 수 있으며, CD 플레이어의 떠 있는 구성 요소나 냉장고의 부품 분리 누락이 그 예입니다.
자주 묻는 질문
Instruct-Particulate는 어떤 유형의 3D 자산을 지원하나요? 모델은 기존 3D 자산과 AI 생성 메시를 모두 지원하므로, 기성 3D 생성기를 통한 이미지 조건부 관절화 3D 객체 생성에 적합합니다.
밀집된 분할 맵에서 성능 문제를 어떻게 방지하나요? 가시 부품이 너무 많은 자산은 훈련 중에 필터링됩니다. 밀집 분할 맵은 비전-언어 모델이 색상을 안정적으로 구분하고 정확한 캡션을 할당하기 어렵게 만들기 때문입니다.
왜 쿼리 토큰 간 셀프 어텐션을 사용하지 않나요? 쿼리 토큰 간 셀프 어텐션은 속도 향상과 결과가 함께 디코딩되는 쿼리 포인트 수에 의존하는 것을 피하기 위해 생략됩니다.
Instruct-Particulate의 주요 실패 모드는 무엇인가요? AI 생성 메시의 분할 아티팩트가 국소적 오류를 일으켜 관절 운동 추정으로 전파될 수 있으며, 생성된 메시 자체의 아티팩트가 전체 예측 품질을 저하시킬 수 있습니다.