滑动窗口推理与去重
每个窗口结束时，系统根据预测的目标位置对特征云进行体素化。不同于编码期间逐帧执行的体素化操作，该过程会合并来自多个起始帧的点。
这种跨帧合并是有效的，因为所有点现在都已跟踪至同一目标时间步。因此，该方法利用了这样一条规则：同一时刻两个实体不能占据同一个体素。
实现细节
以 3D 真值为参照，使用 L2 损失监督预测的目标位置和轨迹。可见性以及静态/动态分类分别使用交叉熵损失进行监督。
由于训练数据集仅为部分点提供真实轨迹，损失只在带标注的点上计算。为节省计算量，训练期间仅对部分动态点解码完整轨迹。
实验
TrackEverything 在标准 3D 点跟踪基准上进行评测，并与稀疏和稠密跟踪基线进行比较。除了对模型进行基准测试外，本次评估还旨在对不同方法范式进行全面比较，并阐明这一领域中的权衡。
结论
本材料所述工作部分获得 NSF Career award、ONR award N00014-23-1-2415 以及 AFOSR Grant FA9550-23-1-0257 的支持。本材料中表达的任何意见、发现以及结论或建议均属于作者，不一定反映美国国家科学基金会的观点。
在项目初期，Ayush Jain 曾在 Meta 担任暑期实习生，其工作也部分获得 Meta AI Mentorship Fellowship 的支持。作者感谢 Yash Jangir、Jay Karhade、Nikhil Keetha、Ananya Bal、Gabriel Sarch、Naitik Khandelwal 和 Brian Yang 提供有益的讨论与支持。
方法与实现补充细节
模型的两个组件以可视化方式展示：滑动窗口去重和 3D WAFT。
PointOdyssey 数据集修正
训练运行期间观察到显著的损失尖峰，追溯后发现其源于 PointOdyssey 数据集。研究人员发现了几处关键标注错误，并开发了程序化修正流程。
时间不连贯的序列
序列 scene_recording_20210910_S05_S06_0_ego1 存在无法通过整数帧偏移解决的子帧级相机抖动，因此被排除在训练和评估划分之外。
研究人员也曾短暂探索利用对象分割掩码移除错误点跟踪标签的方法。该方法基于这样一个事实：在对象分割掩码内生成的点应始终保持在该掩码内。
然而，分割掩码本身也存在错误，使该方法无法实施。
针对 PointOdyssey 数据集的修正将随代码库发布。这些修正降低了损失尖峰，但数据集中仍有一些噪声点，无法得到修正。
复杂度分析
研究人员使用 APD-P 指标而非 APD-M 重新进行了复杂度分析。结果表明，所有结论总体相近。
常见问题
滑动窗口去重会执行什么操作？ 它使用预测的目标位置对特征云进行体素化，并合并来自多个起始帧的点。
为什么跨帧合并是有效的？ 所有点都被跟踪至同一目标时间步，此时两个实体无法同时占据同一体素。
哪些损失函数用于监督 TrackEverything？ 预测的目标位置和轨迹使用 L2 损失，可见性以及静态/动态分类使用交叉熵损失。
PointOdyssey 数据集发现了什么问题？ 该数据集包含标注错误，其中包括一个存在无法解决的子帧级相机抖动的序列，以及其他噪声点。