相关工作
不确定性估计
贝叶斯近似、深度集成和选择性预测可以产生不确定性分数或弃权分数，而经典机器人学则对概率状态进行表示与传播。但这些方法通常无法在给定的错误水平下，提供与分布无关的有限样本覆盖保证。
问题定义
本节将视觉—语言导航表述为离散图上的序列分类问题，定义常用保序预测中的三种非一致性分数，并说明为什么对合并后的时间步进行校准，无法得到轨迹级覆盖。一种实验条件对应一个策略—数据集组合。
为什么拆分保序预测在此会退化
拆分保序预测假设校准分数与测试分数具有可交换性。然而，完整回合层面的可交换性通常并不意味着：将不同回合中的时间步合并后，这些单个时间步仍具有可交换性。
在一个回合内，各时间步共享动作—观测历史，因此在统计上相互依赖；不同回合的长度可能不同；此外，动作还可能因果性地影响后续观测，从而进一步破坏按时间步计算的可交换性。更重要的是，单个时间步的边际覆盖保证，并不意味着一个回合内所有时间步能够同时获得覆盖。
因此，下一节将定义一种映射，把每个回合转换为一个校准分数。
每个回合一个校准分数
对于长度为[该回合长度]的校准回合[该校准回合]，按回合归一化的保序预测会计算[该回合的一个校准分数]。
无论回合长度如何，每个回合只贡献一个数值。所需的是回合之间具有可交换性，而不对回合内的时间步作出这种假设。
对于无参数的按回合归一化保序预测，对最大值进行约束即可约束每个时间步，并获得同时性的轨迹覆盖（定理 1）。只有当所有时间步的分数都为零时，最大值才为零。因此，与按时间步合并校准相比，零阈值出现的可能性更低（命题 1）。
实验
实验报告时间步覆盖率，即每个回合中获得覆盖的时间步所占比例的平均值。集合大小包含 argmax 回退结果，而覆盖率使用指定预测集定义中的集合；原始集合为空时视为未覆盖。
使用按回合归一化保序预测进行模拟求助
我们在部署阶段测试按回合归一化保序预测的一种用途：当[预测集满足行动条件]时，智能体执行动作；当[预测集满足求助条件]时，智能体请求帮助。因此，集合越大，智能体越倾向于暂缓行动并请求协助。
本实验在没有人工操作员参与的情况下模拟求助。当按回合归一化保序预测因[满足求助条件]而请求帮助时，智能体执行模拟器提供的真实动作，而不是执行其策略选定的动作。模拟器可以访问目标和完整的导航图，并假设不会出错。
本实验并不选择一个部署阈值。阈值是在观察验证集未见部分后进行遍历的；同一个[阈值]，对于集合大小分布不同的策略，会产生不同的求助率。
干预还会改变后续观测，因此，静态的按回合归一化保序预测覆盖结果并不能为接受辅助的轨迹提供保证。
常见问题
按回合归一化保序预测解决了什么问题？ 它解决了按时间步合并校准无法为视觉—语言导航提供轨迹级覆盖的问题。
为什么不把一个回合内的时间步视为可交换的？ 因为这些时间步共享动作—观测历史，回合长度可能不同，而且动作可能因果性地影响后续观测。
按回合归一化校准如何概括一个回合？ 它为每个校准回合分配一个校准分数，而不考虑回合长度。
该方法如何用于模拟求助？ 智能体根据预测集决定执行动作或请求帮助；请求帮助时，由模拟器提供真实动作。