在一次前馈处理中，估计相机组参考相机在锚点参考相机坐标系下的位姿。锚点随数据流向前推进。
相关工作
多相机里程计
多台相机能够扩大视野，并在某个视角性能下降时提供冗余。广义相机模型将经过标定的相机组视为一个成像设备，因此即便视角之间几乎没有或完全没有重叠，也能进行里程计测量；该模型还支持采用任意相机组布局的关键帧 SLAM。这些系统通过对显式几何残差进行迭代优化来恢复运动。
面向单相机输入的流式模型会保留历史信息，而具备相机组感知能力的模型会联合感知经过标定的多个视角，但不维护时间状态。据我们所知，此前尚无研究将冻结的多视角 3D 基础模型用于经过标定的多相机组因果里程计。StreamRig 填补了这一空白。
方法
StreamRig 是一种面向经过标定的多相机组的因果式流式里程计系统。它将多视角 3D 基础模型冻结为感知前端，并添加三个轻量模块，将相机组级感知转化为因果状态，再从中读取里程计信息。训练时只更新这三个模块，且仅以相对位姿作为监督信号。
流式推理与重新锚定
在每个时间步，骨干网络对新的相机组进行一次感知，Rig-Resampler 对其进行压缩，随后将带标签的令牌加入活跃窗口。桥接模块的全部八层都会缓存每个此前相机组的键和值。桥接模块对新相机组及其锚点快照进行一次处理，再经由位姿头输出当前相机组相对于锚点的位姿估计值。
实验设置
实验流程
每种方法都以因果方式处理每个完整序列，以首个位姿为锚点，并根据自身预测累积轨迹。除 MA-AB oracle 外，真实位姿仅用于评估。
每种方法都会按块重新锚定，每块包含指定数量的采样相机组或帧。因此，位姿估计由成对相对变换链构成，而且块大小越大，保留的状态就越长。
结论
StreamRig 的结果表明，联合相机组感知与时间历史能够互为补充，提升里程计精度。Rig-Resampler 和 CausalBridge 让这种组合的计算成本更易于承受；群组重定位则提供了仅凭有限相机组数据无法获得的对齐初始化。重新锚定研究表明，较长的训练窗口能够扩大可用锚点范围。有效的流式处理需要将紧凑的几何观测与合适的重新锚定间隔相结合。
未来工作
在 NCLT 上开展的探索性试验表明，压缩后的相机组令牌或可用于同一会话内的重访检索，但本文并未对这一能力进行定量评估，且接受阈值仍需针对每个会话进行调整。未来工作将开发可迁移的回环触发机制，并将重访整合进流式状态中。此外，还将联合优化位姿与稠密几何，使累积地图能够约束后续估计。
常见问题
StreamRig 解决什么问题？ 它通过结合相机组感知与时间历史，解决经过标定的多相机组的因果式里程计问题。
StreamRig 会训练其多视角 3D 基础模型吗？ 不会。基础模型保持冻结状态，只训练新增的三个轻量模块。
StreamRig 如何处理每个新相机组？ 骨干网络对其进行感知，Rig-Resampler 对其进行压缩，然后将带标签的令牌加入活跃窗口。缓存的键和值会向桥接模块提供此前相机组的状态。
论文指出了哪些未来工作？ 论文提出开发可迁移的回环触发机制、将重访整合进流式状态，并联合优化位姿与稠密几何。