相关工作
我们研究记忆中保留的物体、对其位置的估计、移动历史和上下文描述，如何帮助回答不同的空间问题。几何误差可能导致物体位置错误，或使物体看起来发生了移动。因此，我们除了评估这些误差对定位的影响，也评估它们对答案的影响。
方法
Ledger（长时程第一人称描述、几何与事件记录）基于第一人称视角录像和提供或估计的相机位姿，离线构建持久化物体记忆。每段录像只构建一次，且独立于任何问题。之后，这份记忆会被重复用于空间问答和具名物体定位。在 UCS-Bench 上，每个问题读取记忆约需 2.0k 个输入 token，而读取 48 个采样帧则需 9.6k 个 token。
离线记忆构建
发现物体与几何建模。 Qwen3.5-9B 为采样帧中的物体命名。合并同义词后生成供 YOLO-World 使用的词汇表，因此只要不超出检测和 3D 提升的预算，物体无论是否被佩戴者触碰，都会进入记忆。WildDet3D 根据图像、检测框和标签预测相机坐标系中的 3D 框，再由相机位姿将框中心转换到场景坐标系。
查询时推理
回答问题。 检索出的标签、排序信号和片段历史（时间、位置和描述）会被转换为文本。Qwen3.5-9B 或 GPT-5.4 通过一次调用，结合这些证据、问题及其选项作答。
HD-EPIC 查询使用完整记忆。对于带时间戳的 UCS-Bench 查询，快照会移除之后的观测和描述，截断历史记录和佩戴者路径，并重新计算位置。这会过滤回答模型可见的信息，但不会使记忆构建本身具备因果性。
实验
我们首先展示三种记忆如何回答同一段视频流中的问题。随后提出五个研究问题，将基准测试结果与针对记忆的干预联系起来，附录则按阶段分析失败案例。
结论与局限
Ledger 让过去的物体观测能够被重复用于空间问答和定位。将未被触碰的物体纳入记忆，有助于回答有关固定装置的问题；相比坐标精炼，持久化记忆和上下文描述的贡献更大。缺失的事件证据和碎片化的身份信息则限制了交互和计数。不同记忆之间的比较取决于读取记忆的模型，而场景变化会影响检索和记忆构建；按场景构建可部分缓解这一问题。评估应同时衡量可用于回答问题的证据与定位表现，并说明检索预算和场景边界。
相机位姿与物体提升
在 HD-EPIC 上，我们使用经过标定的设备轨迹；在 VQ3D 上，我们使用配准后的 EgoLoc 位姿。为估计位姿，我们使用 FastVGGT——一种无需训练的 VGGT 加速方法。它以 96 帧为一组进行处理，每组之间有 16 帧重叠。我们利用相邻片段的共有帧，估计 Sim(3) 变换并对齐片段。
这些估计位姿的尺度是任意的。为恢复公制尺度，管线会比较同一静态物体的成对观测，并将其与相机坐标系中预测的公制位置进行对照。这一步在大多数 UCS-Bench 录像和所有 TeleEgo 录像中都会失败。因此，这些记忆中的距离以场景单位表示。
给定图像、2D 框和物体标签后，WildDet3D 会预测相机坐标系中的公制 3D 框。我们将其中心作为物体位置。这样便无需从稠密深度图中选取像素，因为深度图可能混合物体表面和背景表面。虽然预测框具有公制尺度，但只有相机位姿的尺度已知时，其场景坐标系中的位置才是公制的。
在早期的 HD-EPIC 分析中，定位误差中位数为 0.39 m，沿视线方向的分量中位数为 0.37 m。这促使我们利用已知相机位姿下的多视角观测来精炼物体位置。
在 UCS-Bench 初步实验中，我们舍弃了两次 Depth Anything 3 重建结果。它们的片段尺度比为 1.16 和 1.58，片段边界处的对齐残差分别为 0.67 和 7.10 m。我们改用 FastVGGT；它也能处理鱼眼录像，但自身无法提供公制尺度。
关联与合并
轨迹记忆在 3D 空间中对观测进行聚类，并按时间顺序，根据标签以及与某个实例最近位置的距离进行关联。同一帧中的检测结果会保留为不同物体，除非它们是重叠的重复检测。
第二轮称为合并，用于重新连接可能属于同一物体的轨迹。该步骤会将标签同义的轨迹分组，使用 SAM 3 视频跟踪器在帧间传播掩码，并合并传播掩码相符的轨迹。共现检查和 3D 距离检查会阻止不兼容的合并。
我们在 HD-EPIC 和 UCS-Bench 上使用合并步骤。在 VQ3D 上，我们比较原始记忆、轨迹记忆和合并后的记忆，轨迹关联半径设为 1.0 m，合并的掩码 IoU 阈值设为 0.3。在 UCS-Bench 上，若 3D 距离超过 1.0，则阻止合并；没有公制尺度时，距离以场景单位计量。即使经过合并，物体在长时间未出现或大幅移动后仍可能获得新的身份。
持久化与上下文描述
基于距离阈值的分段规则会在观测位置超出指定的距离阈值，偏离当前静止位置时立即开启新片段。我们的持久化规则则会等待指定数量的连续观测超出该半径后，才确认新的片段。如果观测在确认前回到半径范围内，就仍归入当前片段。
在 HD-EPIC 上，我们使用以米为单位的指定距离阈值和指定的持久化计数。在 UCS-Bench 上也使用相同数值，但没有公制尺度时，半径以场景单位计量。附录对比了这两种规则。
每个物体最多取六个片段，由 Qwen3.5-9B 根据带有物体轮廓的代表帧生成描述。这些描述记录了仅凭位置无法体现的细节，例如物体内的物品、物体所在的支撑表面以及交互情况。
在所报告的 HD-EPIC 运行中，我们首先为基于距离阈值划分的片段生成描述。之后，每个持久化片段继承与其时间重叠最多的片段的描述。因此，持久化消融实验也改变了记录中出现的描述，并未保持所有文本证据不变。UCS-Bench 扩展中针对采样帧补充的活动描述详见附录。
多视角精炼
从多个视角观测静止物体，有助于约束其 3D 位置。每个检测框的中心都会从相机位置确定一条视线。给定各次观测的相机中心和对应视线的单位方向向量后，我们估计到这些视线的距离平方和最小的点。
移动与静止状态分析
在这些问题中，距离阈值规则在 64% 的情况下会过度计数移动，阈值为 0.3 m。增大距离阈值可以抑制定位噪声，但可能漏掉小幅移动。标注中，19% 的移动距离短于 0.3 m，50% 短于 0.8 m。与此同时，定位误差的第 95 百分位数为 0.84 m。对于目标已在记忆中的问题，持久化规则能改善移动计数，从而将分段错误与未能保留目标的问题区分开来。偏差和平均计数分别取整。
静止定位问题询问物体何时停止移动并保持静止。在早期分析中，选择与静止片段起始时间最接近的答案时间戳，仅有 22% 的问题答对，而随机猜测为 20%。这表明采样观测时间无法可靠地确定连续静止状态的开始时间。不过，记忆并非总会损害这类问题：当前 Qwen 和 GPT 运行的结果呈现相反影响。
开发数据与成本
我们使用与评估数据分离的校准数据集中的 5–10 段试点视频，开发分段和检索规则、三角测量阈值及固定装置同义词组。
在早期的一次测试中，WildDet3D 在 24 GB GPU 上处理每次检测所需时间分别为 0.85、0.99 和 0.94 秒，对应输入分辨率为 1802、960 和 480 像素。每个框都会以固定的内部解析度进行处理，因此降低输入分辨率并不总能缩短处理时间。在物体较多的视频中，生成描述可能占据总运行时间的大部分。这些组件耗时并不代表端到端吞吐量或记忆压缩效果。
VQ3D 协议与结果解读
我们评估 VQ3D 验证集中的 44 个 Ego4D 片段所对应的全部 164 个查询。每个目标在扫描坐标系中有两条 3D 标注，即基准测试提供的两条标注。我们按物体名称检索实例，并返回其存储的世界坐标位置。我们没有将其与从查询裁剪图像中检索物体的其他方面相同系统进行比较。
我们以两条标注的中点为基准测量误差。有条件成功率使用基准测试标准，即基准测试指定的成功阈值。
这个阈值较宽松。再加上排除未回答的查询，即使定位误差达到数米，有条件成功率也接近上限。在进行排行榜比较之前，我们仍需使用基准测试的评估代码，计算所有查询上的成功率和官方基准测试聚合指标。已发表结果和其余协议差异列于附录。
只有在检索返回候选项时，我们才对查询评分。原始 SAM 3 记忆为 164 个查询中的 143 个返回候选项，轨迹记忆则为 153 个。因此，各个变体分别在自身返回的查询上评分，而不是在共同的查询集合上评分。有条件成功率达到 99% 或误差中位数低于一米，并不意味着在全部查询中有 99% 实现了成功定位。这些结果不能证明所有查询均能成功，也不能证明官方 VQ3D 任务的端到端表现有所提升。
VQ3D 实现设置
我们从 5 fps 帧网格中每 20 帧采样一帧，即每四秒取一帧。YOLO-World 使用 v8x-worldv2，分辨率为 640 像素，置信度阈值为 0.25，每帧最多检测 12 个物体。每个标签最多提升 25 个检测结果，每个场景最多提升 400 个检测结果至 3D。轨迹关联半径为 1.0 m，合并的掩码 IoU 阈值为 0.3。
定位表使用 GPT-5.4 从最多四个候选项中进行选择。我们仅使用 Qwen 进行标签标注和覆盖率判定，因此这些结果并未证明定位管线完全由开放模型构建。我们也评估了 FastVGGT，将其作为相机位姿的替代来源。
UCS-Bench 协议
我们每四秒采样一帧，并使用与 HD-EPIC 相同的管线：由 Qwen3.5-9B 进行标签标注，YOLO-World 进行检测，WildDet3D 进行 3D 提升，SAM 3 进行合并，随后进行持久化分段和片段描述。
当 Depth Anything 3 位姿通过三项一致性检查时，我们使用这些位姿：片段对齐残差不超过 0.5 m，片段尺度处于指定的尺度范围内，相机位移不超过 6 m。否则，我们使用 FastVGGT。圆形鱼眼录像直接使用 FastVGGT。我们尝试通过同一物体的成对观测恢复公制尺度。大多数录像和所有 TeleEgo 录像均恢复失败，因此这些录像中的距离仍以场景单位表示。
对于每个问题，我们都会按其时间戳过滤记忆。我们移除之后的观测、片段和描述，截断当前片段及佩戴者路径，并重新计算位置。我们也不提供基于所有片段撰写的物体摘要。适配器会根据一种评分进行条目排序：该分数结合问题词语与名称和描述的匹配情况，以及距最近观测的时间间隔（秒）。回答模型会收到排名前四的条目和佩戴者路径。
计数
使用记忆并不能改善计数；向回答模型展示记忆中的计数反而使得分下降 6.4 个百分点。我们在 257 个数值答案问题上评估计数，这些问题的目标名词均出现在记忆中。对轨迹计数时，11% 的问题答案正确，22% 的结果误差不超过 1。估计物体数量的中位数为 7，而真实数量为 3。改用单帧中可见轨迹数量的最大值后，这两项比例分别提升至 16% 和 45%。
记忆既会将一个物体拆分成多条轨迹，也会漏掉其他物体。在没有公制尺度的录像中，合并步骤固定的 3D 距离阈值会阻止 98% 的拟议合并。移除此检查后，12 段录像中存储的物体数量从 6,490 降至 4,404，测得的总体准确率则没有下降。计数问题仍未解决：两种配置在 95 个计数问题上的得分分别为 33.7% 和 31.6%，均低于 35.8% 的盲测得分。对于动作和人物计数，帧图像有所帮助；物体计数的表现则仍接近盲测基线。这些结果表明，实例关联和构建过程中几何尺度的一致性，是提升物体计数表现的优先事项。
开发试点与因果构建
我们使用包含 138 个问题的 10 段视频试点开发适配器。因此，这些结果并非留出评估。首个版本得分为 36.2%，盲测对照为 25.4%，但首个版本使用了未来证据。在 57 个问题中，它检索到的候选项首次出现于问题时间之后；展示的路径航点中有 43.6% 位于未来。我们不将这部分提升纳入结论。
上述时间戳过滤会从提示中移除明确的未来证据。在试点中，经过过滤的记忆在 GPT-5.4 上得分为 38.4%，盲测得分为 31.9%：提升 6.5 个百分点，区间为报告的区间。方向标签、关系事件和地点上下文均未带来可测量的额外提升。
然而，记忆构建仍使用完整录像。词汇表参考视频全程的帧，位姿估计、合并和分段也都在线下完成。过滤这些步骤的输出，并不能证明早期记忆状态不受后续帧影响。要证明这一点，我们需要在每个查询时间点仅使用当时可用的影像来构建所有阶段，并验证后续影像的加入不会改变早期状态。因此，我们将这些运行结果描述为经过时间戳过滤的评估，而非经过验证的流式评估。
对完全相同的输入重复运行 GPT-5.4 时，约四分之一的试点问题会选出不同选项。因此，我们的主要结论依据数千个问题上的配对比较，而不是这些试点估计。
UCS-Bench 实现设置
每段录像最多使用 80 帧进行标签标注，每帧预算为 130 个 token。检测以 1280 像素运行，置信度 t
常见问题
Ledger 是什么？ Ledger 是一种离线系统，可从第一人称视角视频构建持久化物体记忆，用于空间问答和具名物体定位。
Ledger 如何估计物体位置？ WildDet3D 预测相机坐标系中的 3D 框，相机位姿则将框中心转换到场景坐标系。多视角有助于精炼位置。
系统为何使用持久化分段？ 持久化规则会等待连续观测超出距离阈值后才确认移动，从而减少定位噪声导致的移动过度计数。
报告中提到的主要局限有哪些？ 身份碎片化、事件证据缺失和计数错误仍是挑战。离线构建也意味着时间戳过滤不能证明系统已通过流式评估。