相关工作
现有方法能够检测故障，但其警报未必及时、信息充分或经过充分校准。VLA-Tug 通过故障感知表征、基于故障起始时刻的检测以及联合统计保证，解决了这些局限。
问题陈述
本节介绍用于描述视觉-语言-动作模型（VLA）故障检测器工作方式的通用定义，以数学形式阐述问题，并介绍 VLA-Tug 如何应对这一问题。
定义
为便于比较不同方法，我们定义故障分数、检测阈值、检测时刻、故障时刻和故障模式等概念。
- 故障分数。 分数，即探针在每个时间步对故障的确信值，表示探针对 VLA 正在发生故障的判断。它不必严格意义上是概率。
- 检测阈值。 阈值，即应用于故障分数的界限，用于区分故障与成功。
- 检测时刻。 时间，即分数首次越过阈值的时间步，也就是分数首次越过阈值的时刻。
- 故障时刻。 也称为故障起始时刻，指策略出现明显错误，或进展停滞到需要人工或其他方式介入的程度时。
- 故障模式。 标签，即故障的语义类别，是分配给每种故障的高层级类别，例如抓取失败、放置失败或没有进展。
方法
VLA-Tug 由故障探针和经校准的警报阈值组成。以下各节介绍探针及其训练方式，随后说明如何校准警报阈值以及由此提供的保证。
通过潜在空间探测检测故障
在现有工作的基础上，我们将探针实现为 LSTM 与 MLP 的组合。其目标是捕捉主干网络嵌入中的非线性模式，并使其能够泛化到训练时未见过的回合。我们介绍模型输入、描述模型架构，并解释训练策略。
信息量评估
本节重点讨论故障模式预测，这是通过策略引导实现故障预防的关键环节。故障模式的类别分布严重不均衡，因此我们报告平衡准确率：对各类别的故障正确预测比例取平均值。由于现有基线方法不预测故障模式，我们将其与多数类基线进行比较，并重点评估 LIBERO-X。
实际应用中，探针会将故障范围缩小到三个候选类别；与多数类基线相比，这些类别更有可能包含真实类别。不同故障模式带来的风险各不相同，因此实践者可以根据这些候选类别选择响应级别——例如，对三个预测类别中风险最高的一类采取停止、重试或移交给人工处理等措施，而不是对所有故障都施加相同的干预。
主干网络嵌入包含足够的信息，能够以高于多数类基线的水平预测故障类别，从而让实践者根据预测风险匹配响应措施。
实践考量
任何真实世界系统都必须在性能——及时性（T）、校准度（C）和信息量（I）——与构建及运行成本（效率，E）之间取得平衡。我们评估数据集标注、探针训练、探针校准以及推理时运行的成本。
标注成本约为每个失败回合一美分（所有标注总计不到 $50，包括本文未使用的查询）。因此，标签成本很低，而且实践者通常已经拥有系统部署过程中收集的未标注运行轨迹。
策略引导演示
我们展示 VLA-Tug 的四项特性——及时性、校准度、信息量和效率——如何共同支持通过 VLA 策略引导来预防故障。此处旨在说明有效的故障预测器如何提供信号以引导干预，而非开发一种策略引导方法。
我们考虑一种策略引导架构，其中专家模型（例如视觉-语言模型（VLM））可根据探针的预测调用故障恢复工具。在实验中，我们通过仿真中的故障模式专用启发式规则实现这些工具，并在真实机器人上展示相应的干预措施。
例如，在一次仿真运行中，任务是“将最大的碗放进碗碟沥水架左侧隔间”。碗被误放进右侧隔间之前，探针就发出了警报。将末端执行器引导至左侧后，策略恢复运行，最终成功完成任务。若不进行干预，碗就会被放在右侧，导致任务失败。
我们的真实世界实验同样表明，VLA-Tug 的联合特性有助于引导 VLA 避免故障。在“把蘑菇放到盘子上”任务中，未启用 VLA-Tug 时，夹爪会错过蘑菇并撞到桌面。启用 VLA-Tug 后，探针会预测即将发生的抓取失败，并采取纠正措施。在此示例中，纠正措施是暂停 VLA，让专家模型将轨迹调整为一条能够成功完成任务的轨迹，然后恢复 VLA 运行。
VLA-Tug 这类能够在故障发生前而非为时已晚之后预判故障的检测器，使这种策略成为可能。此方法不依赖特定的策略引导架构。稳健策略引导方法的探索留待未来工作开展。这些示例展示了 VLA-Tug 在安全且有原则的机器人系统中的适用性。
这些概念验证演示表明，VLA-Tug 能够提供所需的时机和故障模式信息，以便在 VLA 执行期间实施有针对性的干预。及时性创造干预机会，校准度控制何时触发干预，信息量指导采取何种干预，而效率则使探针能够与 VLA 并行运行。
结论
首先，校准保证依赖校准回合与测试回合之间的可交换性；分布偏移越大，这一条件就越难满足。实证结果显示，性能退化是渐进的。其次，本文没有系统分析源主干网络嵌入的选择。第三，策略引导部分中专家模型针对预测故障进行干预的做法属于启发式方法，且不在本文的评估范围内。
探针与训练
在每个策略步骤中，我们分别对智能体摄像头、腕部摄像头以及未填充语言提示的主干网络词元取平均，再将三个均值拼接为单个特征向量。我们不使用主干网络的任何其他特征。本文中的所有模型（包括基线模型）都以此向量为输入。
基准测试与数据划分
我们使用 LIBERO-Occ 的 10-suite，这是 LIBERO 的扩展版本，会遮挡智能体视角摄像头。两种策略在原始基准测试中都很少失败，因此我们将遮挡与未遮挡回合按相同比例混合，以获得足够数量的失败样本：每种策略各有 250 个。
基线方法
我们在与探针相同的输入和数据划分上重新实现所有基线方法。如果某个基线具有配置网格，我们会在每个划分上运行完整网格，并针对每种设置，选择在验证回合上平均面积最高的配置；整个过程不会查看未见过的任务。如果出现并列，则选择网格中靠前的配置。
在 LIBERO-10 和真实机器人评测中，我们将各次运行合并，为每种方法选定一个配置。在 LIBERO-X 上，SAFE 按照其自身协议，对三种数据划分采用同一个配置；其他每种方法则针对每类留出集分别选择配置。我们的探针在所有设置中都使用同一种架构。
指标
所报告的指标以百分比表示，并经过缩放，使具有指定理想行为的检测器得分为 100。
信息量评估细节
本节介绍信息量评估背后的详细信息。
故障模式的类别分布严重不均衡，因此我们报告平衡准确率：对各类别的故障正确预测比例取平均值。我们会针对每个数据集反复合并两个最小类别，直到每个类别至少包含 5% 的故障样本。该规则仅使用标签频率。模式分类头不会重新训练：合并后的类别得分等于其各模式概率之和。
由于稀有类别的故障样本数量较少，我们会将某一设置下各划分的预测结果汇总后计算准确率。我们排除 LIBERO-10，因为其故障样本太少，无法计算各类别的准确率：即使合并类别，最小类别也只有 6 to 16 个样本，因此单个样本就会让该类别的准确率变化数个百分点。
成本与延迟
本节介绍实践考量评估背后的详细信息。
消融实验
我们对监督策略、辅助头以及用于评估的故障时刻进行了消融实验。
策略引导演示
策略引导仅用于展示如何使用 VLA-Tug 信号；启发式规则较为简单，且未经过评估。当分数越过经校准的阈值时，策略会暂停，系统根据预测的故障模式选择并实施干预，然后恢复策略运行。
我们为 LIBERO-X 实现了三种启发式规则。对于目标错误或放置/插入失败，会将末端执行器朝目的地移动一小段距离。对于抓取失败，会将末端执行器沿与其近期运动方向垂直的方向横向移动。对于所有其他预测模式，策略会从当前状态重新规划。
在“把白黄色马克杯放到架子上”的任务中，警报发出后，探针会预测故障模式，系统实施相应的干预，随后策略恢复运行并成功完成任务。若不进行干预，马克杯就会被放在桌上，导致任务失败。
常见问题
VLA-Tug 探针使用什么作为输入？
在每个策略步骤中，它会拼接来自智能体摄像头、腕部摄像头和未填充语言提示的主干网络词元均值。它不使用其他主干网络特征。
VLA-Tug 如何定义故障时刻？
故障时刻，也称故障起始时刻，指策略出现明显错误，或进展停滞到需要干预的程度时。
探针如何帮助选择应对故障的措施？
它会将故障范围缩小到三个候选类别，帮助实践者根据预测风险选择合适的干预措施。
策略引导演示有哪些局限？
策略引导启发式规则较为简单，且未作为稳健的策略引导方法进行评估。此外，校准保证依赖校准回合与测试回合之间的可交换性。