Ego4D 和 Ego-Exo4D 是规模最大的第一视角数据采集项目之一，涵盖各种活动和参与者，提供数千小时的视频。这类大规模数据集为技能学习与评估、程序化活动理解、具身智能与机器人模仿学习，以及为身体表现提供反馈的指导或辅导系统，开辟了新的研究方向。
引言
Ego4D 和 Ego-Exo4D 是规模最大的第一视角数据采集项目之一，涵盖各种活动和参与者，提供数千小时的视频。这类大规模数据集为技能学习与评估、程序化活动理解、具身智能与机器人模仿学习，以及为身体表现提供反馈的指导或辅导系统，开辟了新的研究方向。
Ego-Exo4D 尤其是一个内容丰富的数据集，采集范围广，包括一个第一视角传感器和多个第三视角摄像机，所有设备均经过同步和标定。原则上，这种多视角设置应能显著提升 3D 人体感知质量，因为第三视角摄像机能够拍摄活动执行者的全身。然而，该数据集现有的 3D 标注较为稀疏，而当前的 3D 人体重建系统在如此大规模的数据上可能不够稳定。
为拓展该数据集的应用范围，我们开发了一套流程，用于恢复 Ego-Exo4D 视频中的 4D 人体运动。我们的方法基于最先进的 3D 人体姿态重建方法，并针对 Ego-Exo4D 的同步多摄像机设置进行了适配。我们将生成的 SMPL-H 运动序列作为 Ego-Exo4D-HM 数据集发布，同时开放处理流程，让后续研究能够直接使用这些数据，而无需重新处理原始拍摄内容。
背景
以往研究曾分别探讨第一视角人体姿态恢复问题。EgoEgo 仅依赖头戴摄像机的 SLAM 轨迹，不使用图像观测；较新的 EgoAllo 则加入了从第一视角图像估计得到的手部观测。在这一场景下，Ego-Exo4D 的第三视角摄像机简化了问题，因为它们能够从多个视角拍摄人体。
除具身智能外，理解和建模人类活动也是技能评估、指导和视频预测的核心。以往研究利用第一视角场景中的 3D 运动估计，提供可执行的反馈、预测未来交互、预测手部运动，并将新手的动作调整至专家的技能水平。我们预计，大规模地为第一视角与第三视角拍摄内容补充密集的 3D 运动估计，将有助于支持这些方法。
方法
给定来自 Ego-Exo4D 活动数据集、经过同步的第一视角和第三视角视频，我们的目标是重建活动执行者在世界坐标系中的 3D 身体和手部运动。我们以 SLAHMR 为基础，它能够自然地扩展到多视角场景。与 SLAHMR 一样，我们使用参数化人体表示来描述每个时间步的人体状态。
每个时间步的人体状态由描述身体和手部姿态、形状及世界坐标系运动所需的参数表示。
我们的网格恢复流程对 SLAHMR 进行了修改，以利用 Ego-Exo4D 的第三视角摄像机标定结果和第一视角 SLAM 估计。具体而言，流程包含三个阶段：
- 单视角姿态估计
- 三角测量
- SMPL-H 优化
单视角姿态估计
拍摄画面中经常会出现旁观者，因此我们首先在每个第三视角画面中识别摄像机佩戴者。我们使用以 RegNetY-4GF 为主干网络的 Mask R-CNN 检测器，并根据 Aria SLAM 轨迹给出的佩戴者投影 3D 头部位置，保留检测框包含该位置的检测结果。
对于每个选中的检测框，我们运行 ViTPose 获取人体关键点，并使用 HaMeR 获取手部关键点。总计获得 67 个手部和身体关键点。
三角测量
每一帧中的 67 个关键点分别独立进行三角测量：以 3D 点为优化对象，通过非线性最小二乘法最小化所有已标定视角的重投影误差。至少需要两个视角。
对于更容易受到遮挡和误检影响的手部及手腕关键点，我们还会在多个视角上运行 RANSAC，以剔除异常检测结果。
精选数据集
我们在 Ego-Exo4D 数据集约 3,200 段视频的子集上运行了该流程。随后，我们依据每段拍摄的两项标准进行质量筛选。
重投影自一致性
我们将最终优化得到的 3D 关节重新投影到已标定摄像机画面中，并测量其与对应 2D 检测结果之间的像素距离。如果超过 10% 的样本误差大于 50 pixels，则将该段拍摄标记出来。
三角测量覆盖率
如果成功完成三角测量的关键点观测不足 50%，则将该段拍摄标记出来。此标准可筛出依赖过少一致视角完成重建的拍摄片段。
定量结果
我们使用 Ego-Exo4D 提供的真实 3D 身体和手部关键点标注，评估重建精度。由于我们的重建结果直接位于数据集的公制世界坐标系中，因此报告全局 MPJPE，即预测 3D 关节与标注 3D 关节之间的平均欧氏距离，不进行任何对齐。
我们的方法达到：
- 身体全局 MPJPE： 56.21 mm，覆盖 845 段带标注的拍摄片段
- 手部全局 MPJPE： 51.59 mm，覆盖 190 段带标注的拍摄片段
与 MAMMA 的对比
我们还将结果与近期的多视角网格恢复方法 MAMMA 进行了定性比较。对于 Ego-Exo4D 拍摄内容中常见的身体局部视角、遮挡和截断情况，我们发现，与 MAMMA 相比，我们的流程能够生成更稳健的重建结果。
致谢
本项目通过德克萨斯大学奥斯汀分校生成式人工智能中心和德克萨斯高级计算中心，获得了 Lonestar6 GPU Cluster 的计算资源支持。
常见问题
Ego-Exo4D-HM 数据集是什么？ 这是一个从 Ego-Exo4D 拍摄内容中恢复得到的 SMPL-H 运动序列数据集，并随附处理流程。
重建流程使用哪些数据？ 该流程使用经过同步的第一视角和第三视角视频、第三视角摄像机标定结果，以及第一视角 SLAM 估计。
重建了多少个关键点？ 该流程获取并三角测量了 67 个手部和身体关键点。
该方法达到怎样的全局 MPJPE？ 身体关键点为 56.21 mm，手部关键点为 51.59 mm。