슬라이딩 윈도우 추론 및 중복 제거
각 윈도우가 끝날 때, 예측된 대상 위치를 기준으로 특징 클라우드를 복셀화합니다. 인코딩 중 사용하는 프레임별 복셀화와 달리, 이 연산은 여러 출발 프레임에 걸쳐 포인트를 병합합니다.
이러한 프레임 간 병합이 가능한 이유는 이제 모든 포인트가 동일한 대상 시점까지 추적되기 때문입니다. 따라서 이 방법은 두 개체가 동시에 동일한 복셀을 점유할 수 없다는 규칙을 활용합니다.
구현 세부 사항
예측된 대상 위치와 궤적은 3D 정답 데이터에 대한 L2 손실로 지도합니다. 가시성과 정적/동적 분류는 각각 교차 엔트로피 손실로 지도합니다.
학습 데이터셋은 일부 포인트에 대해서만 정답 추적 정보를 제공하므로, 손실은 라벨이 지정된 포인트에 대해서만 계산합니다. 연산량을 줄이기 위해 학습 중에는 동적 포인트의 일부에 대해서만 전체 궤적을 디코딩합니다.
실험
TrackEverything은 표준 3D 포인트 추적 벤치마크에서 평가되며, 희소 추적 및 밀집 추적 기준선과 모두 비교됩니다. 모델을 벤치마킹하는 데 그치지 않고, 이 평가는 방법론적 패러다임 전반에 걸친 종합적인 비교를 제공하고 이 분야의 절충점을 밝히는 것을 목표로 합니다.
결론
이 자료는 NSF Career award, ONR award N00014-23-1-2415 및 AFOSR Grant FA9550-23-1-0257의 일부 지원을 받아 수행된 연구에 기반합니다. 이 자료에 표현된 모든 의견, 발견, 결론 또는 권고는 저자들의 것이며, 반드시 National Science Foundation의 견해를 반영하는 것은 아닙니다.
Ayush Jain은 프로젝트 초기 기간 동안 Meta에서 여름 인턴으로 근무했으며, Meta AI Mentorship Fellowship의 일부 지원도 받았습니다. 저자들은 Yash Jangir, Jay Karhade, Nikhil Keetha, Ananya Bal, Gabriel Sarch, Naitik Khandelwal 및 Brian Yang의 유익한 논의와 지원에 감사를 표합니다.
추가 방법 및 구현 세부 사항
모델의 두 구성 요소가 시각적으로 설명되어 있습니다: 슬라이딩 윈도우 중복 제거와 3D WAFT.
PointOdyssey 데이터셋 수정
학습 실행 중 상당한 손실 급증이 관찰되었으며, 그 원인이 PointOdyssey 데이터셋으로 추적되었습니다. 몇 가지 중대한 주석 오류가 확인되었고, 프로그램 기반 수정 파이프라인이 개발되었습니다.
시간적으로 일관되지 않은 시퀀스
scene_recording_20210910_S05_S06_0_ego1 시퀀스에는 정수 프레임 시프트로 해결할 수 없는 서브프레임 카메라 지터가 나타납니다. 이 시퀀스는 학습 및 평가 분할에서 제외됩니다.
잘못된 포인트 추적 라벨을 제거하는 방법으로 객체 분할 마스크도 잠시 검토되었습니다. 이 접근법은 객체의 분할 마스크 내부에서 생성된 포인트는 항상 해당 마스크 안에 있어야 한다는 사실에 기반했습니다.
그러나 분할 마스크에도 버그가 있어 이 접근법은 실행할 수 없었습니다.
PointOdyssey 데이터셋에 대한 수정 사항은 코드베이스와 함께 공개됩니다. 이러한 수정으로 손실 급증이 줄어들었지만, 데이터셋에는 여전히 일부 노이즈 포인트가 남아 있으며 수정할 수 없었습니다.
복잡도 분석
복잡도 분석은 APD-M 대신 APD-P 지표를 사용하여 반복되었습니다. 결과는 모든 결론이 여전히 유사함을 보여줍니다.
자주 묻는 질문
슬라이딩 윈도우 중복 제거는 무엇을 수행하나요? 예측된 대상 위치를 사용해 특징 클라우드를 복셀화하고 여러 출발 프레임에 걸쳐 포인트를 병합합니다.
프레임 간 병합이 가능한 이유는 무엇인가요? 모든 포인트가 동일한 대상 시점까지 추적되므로, 두 개체가 동시에 동일한 복셀을 점유할 수 없습니다.
TrackEverything의 학습을 감독하는 손실은 무엇인가요? 예측된 대상 위치와 궤적에는 L2 손실을 사용하고, 가시성 및 정적/동적 분류에는 교차 엔트로피 손실을 사용합니다.
PointOdyssey 데이터셋에서 어떤 문제가 발견되었나요? 해결할 수 없는 서브프레임 카메라 지터가 있는 시퀀스와 추가적인 노이즈 포인트를 포함한 주석 오류가 있었습니다.