FAMOS는 부분 포인트 클라우드로 주어진 희소한 관측만을 바탕으로, 한 번의 순전파 과정에서 관절 구조 물체의 가동 부위와 그 운동학적 특성을 예측합니다. 이를 위해 Multi-state Articulation Transformer를 사용합니다.
Multi-State Articulation Transformer
FAMOS는 피드포워드 방식의 관절 구조 예측을 위해 최근의 쿼리 기반 트랜스포머 설계를 확장합니다. 완전한 단일 포인트 클라우드를 사용하는 기존 방법과 달리, FAMOS는 보이는 형상과 관절 상태가 서로 다른 여러 부분 포인트 클라우드에 흩어진 정보를 통합해야 합니다. 이를 위해 각 상태의 기하학적 맥락과 상태 간 관절 구조 단서를 함께 활용하도록 설계했습니다.
관측된 관절 변화 범위
관측에서 특정 부위의 실제 관절값(각도 또는 변위)을 관절 상태라고 하겠습니다. 또한 어떤 부위가 보이는 관측들의 집합을 해당 부위에 이용 가능한 관측으로 정의합니다.
예측 대상은 하나 이상의 관측에서 보이는 부위에 대해 관측된 관절값으로 계산한 관절 변화 범위입니다. 회전 관절의 관절값은 라디안으로, 직동 관절의 관절값은 물체 크기로 정규화한 단위로 나타냅니다.
학습 목적 함수
모델은 헝가리안 알고리즘을 사용해 할당을 수행하며, 관측 내 한 점의 마스크 로짓이 예측 분할 정보를 제공합니다. 할당은 모든 관측을 함께 고려해 계산하므로 상태마다 따로 구하지 않고 전체 상태에서 공유됩니다. 할당되지 않은 쿼리는 손실 계산에서 제외합니다.
절차적 학습 데이터 생성
주석이 생성 과정에서부터 알려지는 매개변수 기반 에셋 생성기를 개발해 기존 관절 구조 데이터셋을 보완했습니다. 이 생성기는 기본 형상 프리미티브를 조합하는 모듈식 구조를 사용하므로, 동일한 구성 요소로 분해되는 새로운 물체 클래스로 쉽게 확장할 수 있습니다.
구현 세부 사항
관절 구조 에셋은 PartNet-Mobility와 GRScenes에서 수집했습니다. 두 데이터셋 모두 외부에서 뚜렷하게 보이는 관절 구조를 가진 물체만 남기도록 필터링했으며, 버튼과 손잡이처럼 작은 구성 요소는 고정된 부위로 처리했습니다.
그 결과 PartNet-Mobility에서는 25개 클래스에 걸쳐 1,020개, GRScenes에서는 15개 클래스에 걸쳐 968개의 물체를 확보했습니다. 또한 절차적 생성기는 자기 주석이 포함된 에셋을 무한히 생성할 수 있습니다.
정성적 결과
정성적 평가는 세 가지 벤치마크 모두를 대상으로 진행했습니다. 기준선 모델과 비교하면 FAMOS는 가동 부위를 더 안정적으로 식별하고 관절축도 더 정확하게 추정합니다. 반면 기준선 모델은 분할이 지나치게 세분화되거나 충분히 분리되지 않는 오류가 더 자주 나타납니다.
결론
희소한 단안 관측으로부터 관절 구조 물체를 모델링하는 피드포워드 방식 FAMOS를 제시했습니다. FAMOS는 Multi-state Articulation Transformer를 사용해 여러 부분 포인트 클라우드를 함께 추론하며, 상태별 어텐션과 전역 어텐션을 번갈아 적용합니다.
또한 부위가 보이는 전체 관측 집합에서 관절 구조 단서를 활용하도록 유도하는 관측된 관절 변화 범위 목적 함수를 도입했습니다. 학습 데이터의 규모와 다양성을 높이기 위해, 학습 중 자기 주석 관절 구조 물체를 즉석에서 합성하는 절차적 에셋 생성기도 설계했습니다.
세 가지 벤치마크에서 진행한 실험은 기존 피드포워드 방식과 최적화 기반 방식에 비해 일관된 성능 향상을 보여주었습니다. 정성적 결과는 실제 환경에서 촬영한 데이터로의 일반화 가능성도 입증합니다.
에셋 패밀리
사용 가능한 데이터셋의 규모를 키우고 형상 암기를 방지하기 위해, 절차적 생성기는 주석이 포함된 3D 관절 구조 물체를 무한히 합성합니다. 이러한 에셋은 크게 세 가지 범주로 나뉩니다.
캐비닛은 다음 세 가지 패밀리로 설계했습니다.
- 전면, 상단, 측면 도어를 포함하며 한쪽, 양쪽 또는 분할 개방이 가능한 힌지형 캐비닛.
- 슬라이딩 서랍을 가변적인 개수로 쌓은 서랍형 캐비닛.
- 도어와 서랍을 함께 갖춘 두 개의 나란한 수납 공간으로 구성된 복합형 캐비닛.
캐비닛 외에도 다음과 같은 물체가 포함됩니다.
- 여닫기, 밀기, 들어 올리기 동작이 가능한 도어.
- 분할형 또는 힌지형 뚜껑과 슬라이딩 트레이를 갖춘 상자.
자주 묻는 질문
FAMOS는 무엇을 예측하나요? FAMOS는 희소한 부분 포인트 클라우드 관측으로부터 관절 구조 물체의 가동 부위와 운동학적 특성을 예측합니다.
Multi-state Articulation Transformer란 무엇인가요? 서로 다른 가시 형상과 관절 상태를 가진 여러 부분 포인트 클라우드에서 기하학적 정보를 통합하는 트랜스포머입니다.
관측된 관절 변화 범위 목적 함수란 무엇인가요? 부위가 보이는 전체 관측 집합에서 관절 구조 단서를 활용하도록 모델을 유도하는 목적 함수입니다.
추가 절차적 학습 데이터는 어떻게 생성하나요? 매개변수 기반 에셋 생성기가 학습 중 모듈식 형상 프리미티브를 조합해 자기 주석 관절 구조 물체를 생성합니다.