这项工作提出了一种新颖的二分类任务数据引擎。该方法结合了“昂贵验证”和“模型预测”两种验证方式，既保证了高可靠性，又实现了快速运行。通过使用威尔逊得分法，可以获得模型预测的置信区间。当置信度超出设定的置信区间时，选择昂贵验证，从而控制系统的错误率。
相关工作
首先，我们概述了与我们类似的系统中的故障预测方法。然后回顾了二分类中置信度计算的方法，由于我们使用降维进行数据预处理，我们也报告了这些领域的相关工作。
装配过程中的故障预测
由于制造中断成本高昂，故障检测已被广泛研究。一种避免故障的方法是使用传感器数据预测异常。
我们提出了一种类似的方法，在插入操作过程中也记录力数据，并测试了多种分类器用于错误预测。他们在UCI基准数据集上取得了良好的分类结果，发现朴素贝叶斯分类器效果最佳。然而，他们没有使用任何形式的分类器置信区间。
决策树也被用于基于力数据的错误分类。与上述方法类似，该方法在UCI基准数据集上进行了测试。我们没有使用UCI基准数据集，因为其采样率和数据集大小远小于我们的方法。
这些方法都依赖于对收集数据的监督学习。因此，需要与运行中的装配系统分开的实验装置来收集训练数据，这是一个成本高昂的过程。
另一种解决方案是在系统发生故障时收集数据。但在许多情况下，这会因导致大量系统故障而代价高昂。然而，这可以作为附加功能添加到系统中。因此，即使要避免故障，如果故障发生，记录的数据也可用于改进系统。我们将此作为附加功能添加到我们的系统中，任何系统故障都被记录并标记，以改进系统。
通过使用威尔逊得分法进行分类，我们的系统能够提供故障最大频率的界限，从而实现更可靠的过程。
二分类的置信区间
存在多种量化二分类不确定性的方法。如前所述，k-NN分类器提供了一种简单但不精确的置信度估计方式，因为它未考虑邻近点的采样不确定性。
更原理性的不确定性估计方法是高斯过程分类。虽然该方法性能良好，但计算成本高昂，因此对于大型数据集（如运行系统中将遇到的数据集）需要近似方法。
降维
降维技术在处理高维数据时提供多种优势，包括去除不显著或冗余信息、减少训练时间、提高模型性能、缓解过拟合、更容易的数据可视化以及提高预测精度，正如先前的工作所示，作者探索了这些技术如何影响机器人辅助手术中的力估计。
近期流行的降维技术包括统一流形逼近与投影（UMAP），这是一种流形学习技术，它保留了局部邻域关系，同时在一定程度上保持了全局结构，并已被证明在这些方面优于其他几种非线性降维方法。在我们的工作中，我们采用UMAP，因为它对于可视化和解释大型高维数据集特别有效。
方法
我们方法的核心是一个在线数据引擎，它能够同时使用机器学习模型和昂贵的验证方法，用于插入质量分类用例。这使得系统能够最小化错误分类，同时保持效率。
以下部分详细描述了系统的各个组件。我们从数据收集过程（“插入治具”和“获取数据”）开始，然后是降维技术（“UMAP”）。接着我们采用机器学习模型（“半径邻居分类”）并应用“威尔逊得分”方法计算置信区间。
最后，我们展示这些组件如何集成到完整的数据引擎中（如下“模型预测”）：当机器学习模型仍不够自信无法做出预测（即预测不在所需置信区间内）时，依赖“昂贵验证”。
昂贵验证步骤的目的是确保机器人操作的正确标记。在这项工作中，它实现为名为高度检查的单一操作，并在以下部分更详细地描述。
每次使用昂贵验证时，系统收集训练数据以进一步改进机器学习模型（“存储到数据库”）。根据预测结果，系统相应执行并生成更多数据用于改进模型。系统的置信区间保证了故障率的界限，同时减少了所需昂贵验证的数量。
在以下部分，我们现在详细描述这些步骤。
数据收集
通常，昂贵验证可以是一系列操作，但它们需要提供绝对确定的完美标签。
降维
我们首先使用UMAP降低高维特征空间，以获得二维表示。
首先，UMAP构建一个高维邻域图，通过根据所选距离度量连接每个点到其最近邻居来捕获局部结构。然后，该图被转换为模糊拓扑表示。随后，UMAP执行低维嵌入，即将数据从原始高维空间映射到低维空间，同时保留邻域关系和全局结构。上图显示了实验结束时训练数据的可视化示例。
数据引擎
在威尔逊得分输出置信区间后，我们评估下界值。如果超过所选阈值 T，则表明UMAP变换将样本放置在由相似点密集填充的区域，使模型能够更自信地预测其类别。
如果预测为错误插入，则该物体返回料箱，系统继续下一样本。否则，我们继续标准机器人动作序列。如果在步骤中出现问题（在我们的案例中是系统停止），我们知道先前做出的分类导致了误报，导致系统停止，用户需要干预以重新启动过程。因此，我们可以将该样本保存到数据库中，考虑到这会转化为额外的运行时间。
在周期性插入迭代之后，可以使用不断增长的数据库重新训练系统模型，该数据库包含模型低置信度的样本以及从“存储到数据库”组件获得的误报样本。
数据引擎仅在CPU上进行了测试，训练时间已测得小于完整机器人周期时间，当前数据集大小的平均时间约为80秒。
结果：威尔逊得分
对于固定的 alpha 和不同的 threshold T，精确度始终高于阈值。threshold T 直接影响精确度下界：更高的阈值产生更高的精确度和更少的误报，但代价是总体预测数量减少，因此运行时间更长。
相反，alpha 通过直接影响威尔逊得分界限来决定模型何时开始预测。较低的 alpha 值通过降低下界延迟预测，促使引擎在做出自信预测之前积累更多数据。
消融研究：使用二项式区间得分的基线结果
我们将结果与使用二项式区间分数的基线方法进行比较。示例结果见下图，并列出了不同测试配置的结果。
比较两种方法，威尔逊得分方法倾向于随着置信度积累而减少对昂贵验证的依赖。这导致更少的误报和更高比例的确定预测。
结论
这项工作提出了一种新颖的二分类任务数据引擎。该方法结合了“昂贵验证”和“模型预测”两种验证方式，既保证了高可靠性，又实现了快速运行。通过使用威尔逊得分法，可以获得模型预测的置信区间。当置信度超出设定的置信区间时，选择昂贵验证，从而控制系统的错误率。
未来工作
在未来的研究中，我们计划将我们的方法扩展到零件、夹具、材料变化以及其他关心类似问题的领域，以证明数据引擎的泛化能力。只要分类的输入数据定义清晰，且昂贵验证组件提供可靠且准确的标记，所提出的数据引擎就可以系统地应用。
常见问题解答
本文的主要贡献是什么？ 本文提出了一种新颖的数据引擎，用于机器人插入任务中的二分类，该引擎结合了机器学习模型和昂贵验证方法，使用威尔逊得分置信区间来控制错误率，同时减少昂贵验证的数量。
威尔逊得分方法如何提高分类可靠性？ 威尔逊得分方法为模型预测提供置信区间，允许系统在置信度较低时依赖昂贵验证，这保证了故障率的界限，同时减少了所需昂贵验证的数量。
UMAP在系统中扮演什么角色？ UMAP用于将高维特征空间降低到二维表示，保留了局部邻域关系和全局结构，从而能够有效地可视化和解释大型高维数据集。
系统如何处理误报预测？ 当发生误报并导致系统停止时，样本连同其标签被保存到数据库中，模型定期使用包含低置信度和误报样本的不断增长的数据库进行重新训练，以改进未来的预测。