Ego4D와 Ego-Exo4D는 자기중심 시점 데이터 수집 분야에서 가장 큰 규모의 프로젝트로, 다양한 활동과 참여자를 담은 수천 시간 분량의 영상을 제공합니다. 이처럼 대규모인 데이터셋은 기술 학습 및 평가, 절차적 활동 이해, 체화 AI와 로봇 모방 학습, 신체 수행에 대한 피드백을 제공하는 코칭 및 튜터링 시스템을 위한 파이프라인 개발의 가능성을 엽니다.
서론
Ego4D와 Ego-Exo4D는 자기중심 시점 데이터 수집 분야에서 가장 큰 규모의 프로젝트로, 다양한 활동과 참여자를 담은 수천 시간 분량의 영상을 제공합니다. 이처럼 대규모인 데이터셋은 기술 학습 및 평가, 절차적 활동 이해, 체화 AI와 로봇 모방 학습, 신체 수행에 대한 피드백을 제공하는 코칭 및 튜터링 시스템을 위한 파이프라인 개발의 가능성을 엽니다.
특히 Ego-Exo4D는 풍부한 데이터셋으로, 자기중심 시점 센서와 여러 외부 시점 카메라를 함께 사용해 광범위하게 촬영했으며 모든 장비의 시간을 동기화하고 보정했습니다. 원칙적으로 이러한 다중 시점 구성은 3D 인체 지각의 품질을 크게 높일 수 있습니다. 외부 시점 카메라가 활동을 수행하는 사람의 전신을 관찰하기 때문입니다. 하지만 데이터셋에 포함된 기존 3D 주석은 드물고, 현재의 3D 인체 재구성 시스템은 이 정도 규모의 데이터에서 안정적으로 작동하지 않을 수 있습니다.
데이터셋을 더 폭넓게 활용할 수 있도록 Ego-Exo4D 촬영 영상의 4D 인체 동작을 복원하는 파이프라인을 개발했습니다. 이 방법은 최신 3D 인체 자세 재구성 기법을 기반으로 하며, Ego-Exo4D의 동기화된 다중 카메라 구성을 활용하도록 조정했습니다. 처리 결과인 SMPL-H 동작 시퀀스를 처리 파이프라인과 함께 Ego-Exo4D-HM 데이터셋으로 공개합니다. 이를 통해 후속 연구에서는 원본 촬영 영상을 다시 처리하지 않고도 이 데이터를 직접 활용할 수 있습니다.
배경
이전 연구에서는 자기중심 시점에서 신체 자세를 복원하는 문제를 개별적으로 다뤘습니다. EgoEgo는 영상 관측값을 사용하지 않고 머리에 장착한 카메라의 SLAM 궤적만 활용하며, 더 최근의 EgoAllo는 자기중심 시점 영상에서 추정한 손 관측값을 포함합니다. Ego-Exo4D의 외부 시점 카메라는 여러 시점에서 신체를 관찰하므로, 이 환경에서는 문제를 더 쉽게 해결할 수 있습니다.
체화 AI 외에도 인간 활동을 이해하고 모델링하는 일은 기술 평가, 코칭, 동영상 예측의 핵심입니다. 기존 연구에서는 자기중심 시점 환경에서 추정한 3D 동작을 활용해 실행 가능한 피드백을 제공하고, 향후 상호작용을 예측하고, 손 동작을 예측하며, 초보자의 동작을 전문가 수준의 기술에 맞게 편집했습니다. 자기중심·외부 시점 촬영 영상에 대규모의 조밀한 3D 동작 추정값을 구축하면 이러한 방법을 지원하는 데 유용할 것으로 기대합니다.
방법
Ego-Exo4D 활동 데이터셋에서 동기화된 자기중심 및 외부 시점 영상을 입력받아 활동을 수행하는 사람의 세계 좌표계 기준 3D 신체 및 손 동작을 재구성하는 것이 목표입니다. 다중 시점 환경으로 자연스럽게 확장할 수 있는 SLAHMR을 기반으로 삼았습니다. SLAHMR을 따라 각 시점에서 사람의 상태를 파라미터 기반 인체 표현으로 나타냅니다.
각 시점의 사람 상태는 신체와 손의 자세 및 형태, 세계 좌표계 기준 동작을 기술하는 데 필요한 파라미터로 표현합니다.
메시 복원 파이프라인은 Ego-Exo4D의 외부 시점 카메라 보정값과 자기중심 시점 SLAM 추정값을 활용하도록 SLAHMR을 수정합니다. 구체적으로 파이프라인은 다음 세 단계로 구성됩니다.
- 단일 시점 자세 추정
- 삼각 측량
- SMPL-H 최적화
단일 시점 자세 추정
촬영 영상에는 주변인이 자주 등장하므로, 먼저 각 외부 시점에서 카메라 착용자를 식별합니다. RegNetY-4GF 백본을 사용하는 Mask R-CNN 검출기를 실행하고, Aria SLAM 궤적에서 얻은 착용자의 투영된 3D 머리 위치를 경계 상자 안에 포함하는 검출 결과를 선택합니다.
선택된 각 경계 상자에 ViTPose를 적용해 인체 관절 키포인트를 얻고, HaMeR를 사용해 손 키포인트를 구합니다. 총 67개의 손 및 신체 키포인트를 얻습니다.
삼각 측량
67개 키포인트 각각에 대해 프레임별로 보정된 모든 시점에서의 재투영 오차를 최소화해 삼각 측량합니다. 3D 점에 대한 비선형 최소제곱법을 사용하며, 최소 두 개의 시점이 필요합니다.
가려짐과 오검출이 더 자주 발생하는 손 및 손목 키포인트에는 시점별 검출 이상치를 제거하기 위해 RANSAC도 적용합니다.
선별된 데이터셋
Ego-Exo4D 데이터셋에서 약 3,200개의 동영상 일부를 대상으로 파이프라인을 실행했습니다. 이후 촬영 단위별 두 가지 기준에 따라 품질을 필터링합니다.
재투영 자기 일관성
최종 최적화된 3D 관절을 보정된 카메라를 통해 재투영한 뒤, 해당 2D 검출 결과까지의 픽셀 거리를 측정합니다. 표본의 10%를 초과하는 항목에서 거리가 50 pixels를 넘으면 해당 촬영 단위를 표시합니다.
삼각 측량 커버리지
키포인트 관측값 중 삼각 측량에 성공한 비율이 50% 미만이면 해당 촬영 단위를 표시합니다. 이 기준으로 서로 일치하는 시점이 너무 적은 상태에서 재구성된 촬영 단위를 찾아냅니다.
정량적 결과
Ego-Exo4D에서 제공하는 정답 3D 신체 및 손 관절 키포인트 주석을 기준으로 재구성 정확도를 평가합니다. 재구성 결과는 데이터셋의 미터법 세계 좌표계에 직접 정렬되어 있으므로, 정렬을 적용하지 않고 예측된 3D 관절과 주석된 3D 관절 사이의 평균 유클리드 거리를 나타내는 전역 MPJPE를 보고합니다.
방법의 성능은 다음과 같습니다.
- 전역 신체 MPJPE: 845개 주석 촬영 단위에서 56.21 mm
- 전역 손 MPJPE: 190개 주석 촬영 단위에서 51.59 mm
MAMMA와의 비교
최근의 다중 시점 메시 복원 방법인 MAMMA와 정성적으로도 비교했습니다. Ego-Exo4D 촬영 영상에서 흔히 나타나는 신체 일부만 보이는 시점, 가려짐, 화면 잘림 상황에서 제안한 파이프라인이 MAMMA보다 더 안정적으로 재구성하는 것을 확인했습니다.
감사의 글
이 프로젝트는 University of Texas at Austin의 Center for Generative AI와 Texas Advanced Computing Center를 통해 Lonestar6 GPU Cluster의 컴퓨팅 지원을 받았습니다.
자주 묻는 질문
Ego-Exo4D-HM 데이터셋이란 무엇인가요? Ego-Exo4D 촬영 영상에서 복원한 SMPL-H 동작 시퀀스 데이터셋으로, 처리 파이프라인과 함께 공개됩니다.
재구성 파이프라인은 어떤 데이터를 사용하나요? 동기화된 자기중심 및 외부 시점 영상, 외부 시점 카메라 보정값, 자기중심 시점 SLAM 추정값을 사용합니다.
키포인트는 몇 개를 재구성하나요? 파이프라인은 손 및 신체 키포인트 67개를 구해 삼각 측량합니다.
이 방법의 전역 MPJPE는 얼마인가요? 신체 키포인트에서 56.21 mm, 손 키포인트에서 51.59 mm입니다.