操作策略主要通过二元任务成功率进行评估。成功与否将感知、抓取、执行和策略汇总为一个比特，因此，不同原因导致策略失败，得到的分数却可能相同。这种评估也可能产生误导：即使策略发出的动作指令有误，也可能获得及格分数。例如，一个使用门的数据训练的行为克隆策略，在过半数回合中都能打开留出测试的抽屉，所用的却是门常见的弧形动作——这种旋转并不符合抽屉关节的运动约束，但每个回合仍被计为成功。好的评估应衡量指令动作是否符合目标物体的运动学特性。
引言
操作策略主要通过二元任务成功率进行评估。成功与否将感知、抓取、执行和策略汇总为一个比特，因此，两个策略即使因不同原因失败，也可能得到相同分数。这种评估也可能产生误导：分数看似不错，发出的动作指令却是错误的。
例如，一个使用门的数据训练的行为克隆策略，在过半数回合中都能用门常见的弧形动作打开留出测试的抽屉。这种旋转并不符合抽屉关节的运动约束，但每个回合仍被计为成功。好的评估应衡量指令动作是否符合目标物体的运动学特性。
约束参照策略
约束参照策略（CRS）通过评估一个反事实问题，排除干扰因素，单独考察指令动作：假设把手已在有效姿态下被抓住，策略发出的动作指令是否符合物体的运动学约束？
CRS 通过教师强制探测来回答这一问题。脚本控制器（oracle）将机器人置于开启过程中的各个参考状态，并记录策略在每个状态下发出的末端执行器速度旋量。参考状态决定评估策略的位置，而关节几何则决定什么样的指令才有效。
常见问题
二元任务成功率无法体现什么？ 它将感知、抓取、执行和策略汇总为一个分数，因此，不同类型的失败可能得到相同结果。
成功分数为何可能产生误导？ 即使策略发出的动作指令不符合物体的关节约束，也可能获得及格分数。
CRS 评估什么？ 在假设抓取姿态有效的前提下，它评估策略发出的动作指令是否符合物体的运动学约束。
CRS 如何探测策略？ 预言控制器将机器人置于开启过程中的各个参考状态，并记录策略在每个状态下发出的末端执行器速度旋量。