CAD 모델의 합성 렌더링을 활용한 약한 지도 학습은 특징 공간을 기하 정보에 초점을 둔 정규화 객체 좌표(NOCs)와 정렬하는 데 사용되어 왔다. 그러나 합성 데이터와 분리된 객체만으로 학습한 모델은 실제 장면에서 나타나는 복잡한 배경, 가림, 다양한 외관에 제대로 일반화되지 못한다. 학습 데이터뿐 아니라 기존 연구에서 사용하는 고차원 의미 특징 공간의 최근접 이웃 매칭은 메모리와 연산량 측면에서 모두 비용이 크며, 문제에 내재된 강체 기하 구조를 충분히 활용하지 못한다. 그 결과 매칭에는 잡음이 섞이고, 정확도를 회복하려면 비용이 큰 반복적 정제가 필요한 경우가 많다.
문제 정의
RGB 이미지와 카메라 내부 파라미터, 그리고 기성 방법으로 검색한 후보 CAD 모델이 주어졌을 때, 목표는 CAD 좌표계 에서 카메라 좌표계로 이어지는 9D 변환을 추정하는 것이다.
전체 CAD 피팅 파이프라인
SUFLECA는 기존 연구에서 사용해 온 표준 간접 CAD 정렬 파이프라인을 따른다.
데이터셋
DiffCAD 분할은 ScanNet25k의 25개 객체 범주 중 6개를 다루며, NMS를 적용하지 않고 미세 조정되지 않은 깊이 정보를 사용해 평가한다. 이 분할은 DiffCAD에서 도입되었으며, DiffCAD의 사전 정보는 6개 범주에 대해서만 제공된다.
결과
CO3D에서는 가려진 마스크와 정확하지 않은 검색 CAD를 사용해 결과를 얻는다. 따라서 전면과 후면, 좌측과 우측을 구분하기 어려운 기하학적 모호성이 크게 발생한다. SUFLECA는 이러한 까다로운 조건에서 경쟁 방법보다 객체를 3D 공간에 훨씬 정확하게 배치하며, 그 특징은 이런 사례를 더 효과적으로 판별한다. 학습에 포함된 범주에서는 SUFLECA의 모든 변형이 비슷한 성능을 보이면서 경쟁 방법을 앞서, 약한 지도 학습의 효과를 입증한다. 학습에 포함되지 않은 범주에서는 SUFLECA-blend가 대체로 다른 방법보다 뛰어나다. 드문 객체에 대한 지도 학습 범위가 제한적인 문제를 보완하는 대신, 더 큰 특징 표현을 사용한다는 비용이 따른다.
자주 묻는 질문
SUFLECA는 기존 CAD-이미지 정렬 방법과 어떻게 다른가? SUFLECA는 합성 CAD 렌더링에서 얻은 약한 지도 정보를 활용해 특징 학습을 확장한다. 이를 통해 비용이 큰 실제 주석 데이터에 대한 의존성을 줄이고 복잡한 장면에 대한 일반화 성능을 높인다.
SUFLECA가 해결하려는 핵심 과제는 무엇인가? 이 방법은 실제 환경에서 분리된 CAD 모델을 사용할 때 발생하는 가림, 외관 변화, 전면과 후면이 뒤바뀌는 문제와 같은 기하학적 모호성을 해결하는 데 초점을 둔다.
SUFLECA는 다양한 객체 범주에서 어떻게 평가되는가? 이 방법은 ScanNet25k의 DiffCAD 분할(6개 범주)과 CO3D 데이터셋에서 평가되며, 학습에 포함된 범주와 포함되지 않은 범주에 대해 성능을 따로 보고한다.
SUFLECA-blend는 어떤 상충 관계를 갖는가? 블렌드 변형은 드문 객체에 대한 제한적인 지도 학습을 보완하기 위해 더 큰 특징 표현을 사용한다. 그 결과 학습에 포함되지 않은 범주에서 성능이 향상되지만 메모리 사용량이 증가한다.