对于每种方法，我们都将参考动作转换为统一的 29-DoF 类人机器人 qpos 表示，并通过统一的 MuJoCo 评估入口执行策略。每个跟踪器保留其原生的策略观测和动作解码器；评估器则统一动作列表、机器人模型、参考索引、轨迹展开统计方式及指标实现。
标准化跟踪器评估
控制轨迹以 50 Hz 的频率记录。在每一步中，评估器都会保存仿真的广义位置和速度、策略动作与电机目标、足部接触状态及接触力、足部和骨盆速度，以及 14 个关键点的位姿和空间速度。常规诊断与 HumanScore 使用相同的状态历史，从而避免将后处理差异误认为跟踪器之间的性能差异。
对于每个跟踪器，我们都采用与 SONIC 相同的跟踪指标和成功判据。该指标同时衡量骨盆、双踝和双腕的垂直位置误差，以及骨盆旋转误差。当任一垂直误差超过 0.25 m、骨盆旋转误差超过 1 rad，或广义位置、速度中出现非有限值时，轨迹即判定失败。
我们将 Succ 报告为完成轨迹的比例，将 MPJPE 报告为每条轨迹实际执行部分中 29 个可驱动关节角的平均绝对误差，单位为弧度。其他诊断指标包括关节速度误差、关键点位置误差、足部接触一致性，以及通过有限差分计算的关节加速度和加加速度。所有报告的基准结果均使用 HumanTracker 测试集划分。
偏好数据构建
偏好数据池完全由 HumanTracker 训练集划分中的动作生成，因此没有任何基准测试动作被用于训练 HumanScore。对于每个源动作，GMT、Humanoid-GPT、SONIC 和 TWIST2 都会针对同一机器人空间参考动作生成对齐的轨迹。
在 50 Hz 下，每条轨迹被划分为连续的 250 帧窗口，每个窗口持续 5 秒。如果轨迹结束时剩余帧数不足一个完整窗口，则保留最后这个短窗口。
HumanScore
帧向量经过线性投影和归一化，并加入正弦位置编码，随后输入 Transformer 编码器。每个注意力层都会应用填充掩码。对有效输出 token 求逐元素平均后，得到轨迹表示；之后由一个 MLP 将其映射为标量奖励。
保留的尾部片段也使用相同的掩码。长度不足 250 帧的片段在右侧补零，而有效性掩码会在注意力计算和时间池化中排除补齐位置。因此，完整窗口和截短窗口可以由同一模型处理，不会引入填充伪影。
HumanScore 计算
随后，我们根据每个窗口所代表的帧数，对窗口奖励进行加权平均。
人类偏好比较
与任何单独的解析诊断指标相比，HumanScore 与人类偏好的一致性更高。传统指标分别关注姿态、速度或接触保真度，而标注者还会考量动作是否符合人类特征、是否平滑稳定，以及误差如何随时间发展。较低的一致性表明，任何单一诊断指标都无法完整捕捉人类判断所反映的整体轨迹质量。
该比较还排除了若干由数据分布造成的捷径。我们按源动作对测试集进行分组，避免同一序列中的相邻片段跨越不同划分。我们在每个动作类别内部计算平均一致性，避免样本更多的 Daily 和 Interaction 掩盖 Ground 与 Highly Dynamic 上的表现。跟踪器配对在构建时已保持平衡，因此结果不能归因于某个类别或某种跟踪器组合占据主导。
敏感性分析
移除实测接触特征后，Ground 类别上的性能下降最为明显。这表明，对于接触转换复杂的动作，接触信息十分重要。加入未来参考信息后的表现略逊于基线，说明这一额外信号收益有限，也难以被有效利用。评估动作质量时，仅依赖当前状态和历史状态便已足够。
更长的上下文能够揭示孤立姿态无法捕捉的滑步、抖动、漂移和恢复过程，因此可以提升与人类偏好的对齐程度。随着可用上下文从 1 秒增加到 5 秒，对齐效果也稳步提升。
短片段能够捕捉瞬时的姿态误差，而更长的上下文则能揭示足部滑动、反复抖动、逐渐漂移以及从不稳定状态中恢复等随时间演化的伪影。因此，HumanScore 受益于在时间维度上整合互补证据，而不是逐帧评估动作。
结论
我们提出了一个大规模基准和 HumanScore——一种面向人类一致性的指标，用于评估类人机器人运动跟踪。该公开基准由 24 名专业表演者的光学动作捕捉数据构建，包含约 153 小时、覆盖四类动作。结果揭示了高动态动作和地面接触动作中持续存在的不足。
HumanTracker 为跟踪器比较和失败分析提供了可复现的框架。未来工作将拓展至跨形体设置、真实硬件以及奖励优化等方向。
片段构建与填充
该公式描述了如何使用有效帧构建轨迹片段并为其加权。
因此，较短的末端片段也能参与计算，同时不会让填充帧影响注意力或池化。合并一条轨迹中的窗口奖励时，每个窗口都按照其实际帧数加权。填充位置既不会参与窗口表示的构建，也不会参与轨迹平均值的计算。
常见问题
HumanTracker 是什么？ HumanTracker 是一个大规模基准和评估框架，用于结合面向人类一致性的质量评估来衡量类人机器人运动跟踪性能。
HumanScore 衡量什么？ HumanScore 利用时间聚合的运动信息评估轨迹质量，目标是与人类偏好保持一致。
如何一致地评估不同跟踪器的轨迹？ 我们将参考动作转换为统一的 29-DoF 类人机器人表示，并通过统一的 MuJoCo 入口进行评估，同时采用标准化指标和状态记录方式。
为什么更长的上下文能提升 HumanScore 的对齐效果？ 更长的上下文能够揭示足部滑动、抖动、漂移以及从不稳定状态中恢复等随时间演化的伪影。