Progress Probes 与 VLM 作为运行时监视器的比较
我们研究轻量级进度探针作为运行时监视器时，与通用 VLM 相比表现如何。
为校准 Progress 预测头，我们在与训练 Progress Probe 相同的训练轨迹上运行 Robometer，并汇总其对每项任务预测的进度曲线；我们将 Robometer 根据成功轨迹自身预测的进度定义为名义进度。我们评估两个版本：Robometer-ZS（零样本）和 Robometer-FT，后者在用于训练 SAFE 的同一成功与失败数据集上进行微调。
按故障检测能力评估可区分性
我们测试 Progress Probes 能否扩展到监控真实世界中的 VLA 策略，并评估它们部署在真实机器人上时，区分成功执行与失败执行的能力。
方法。 我们在硬件评估数据集上评估每个基线，并要求监视器判断：(a) 通过最大值聚合判断整个回合是成功还是失败的执行；(b) 给定一条轨迹，判断当前时间步是成功状态还是故障状态。
结论与局限性
我们提出了 Progress Probes，这是一种轻量级运行时监控方法，可通过线性解码 VLA 的内部激活来提取任务进度。在仿真和硬件实验中，Progress Probes 的故障监控性能具有竞争力，同时计算效率显著高于现有基于 VLM 的监视器。这些结果表明，VLA 激活中编码的任务进度能够为运行时故障监控提供一种简单而有效的信号。
常见问题
Progress Probes 监控什么？ 它们从 VLA 的内部激活中解码任务进度，以支持运行时故障监控。
Robometer 在评估中如何使用？ Robometer 在成功轨迹上预测的进度曲线用于定义名义进度。研究评估了 Robometer 的零样本和微调版本。
真实机器人上的故障检测设置有哪些？ 监视器通过最大值聚合对整个回合进行分类，并将当前时间步分类为成功状态或故障状态。
与基于 VLM 的监视器相比，Progress Probes 的计算效率如何？ 它们的故障监控性能具有竞争力，同时计算效率显著高于现有基于 VLM 的监视器。