一次干预只能为这一原则提供部分证据。接管前，机器人执行 VLA 动作；接管后，人类提供偏好的后续操作。接管时刻定位了促使干预发生的情境，并可泛化至其他相似情境；随后由人类控制的片段则从已到达的状态出发，提供通向更优状态的偏好后续操作。诸如“将杯子放在盘子上时保持杯子直立”这样的描述，指出了促使接管发生的语义属性；即使物体姿态、机器人配置、背景乃至任务发生变化，该属性仍可能有效。仅凭轨迹无法确定究竟是哪项属性起了作用；仅凭语言则缺少视觉运动控制所需的感觉运动基础。两者结合，才能约束出可复用的修正。
我们使用 RoboCasa 和 DROID 中的 pi0，在仿真和真实世界的三个任务上评估 OopsieRecover，每个任务仅使用 5–8 次修正。OopsieRecover 将真实世界任务进展从 35.1% 提升至 61.0%，相较次优基线相对提升 74%，并能将修正迁移至未见过的姿态、物体和场景。其门控代价函数可零样本泛化至物体姿态和场景的新变化，并成功引导基础策略。我们的贡献包括：提出一种基于人在环干预、通过少样本学习 VLA 修正的语义化溯因框架；提出一种生成并测试的流程，用于合成和验证门控代价函数；以及提出一种测试时引导机制，无需重新训练 VLA 即可应用并泛化修正。
收集语义化修正
OopsieRecover 针对每一组按类型归类的纠正性干预，合成一个统一的修正目标。为此，它首先定义一种能够捕捉可迁移意图的表示。
修正程序的合成与优化
第一步是识别修正涉及的实体，并利用记录的观测通过几何信息将其定位。以 PlaceMug 为例，这些实体可能包括杯子、构成障碍的机器区域以及目标托盘。系统利用任务指令和修正描述定位这些实体，随后构建并跟踪它们的 3D 点集表示。
结论
OopsieRecover 是一个框架，能够从少量经语义标注的人工干预中，为冻结的 VLA 学习可迁移的修正。它通过溯因推理，在经过语义定位的 3D 点集上合成由上下文门控的代价函数。这些代价函数决定何时需要引导，并根据预测后果对候选动作排序。仿真和真实世界的实验表明，该方法能提升执行效果，并在物体姿态和场景变化中实现迁移，无需额外的修正数据。与 HG-DAgger 相比，OopsieRecover 以更少的干预取得更高的成功率，表明可复用的修正意图可以作为直接模仿纠正动作的一种数据高效替代方案。
致谢
本研究在德克萨斯大学奥斯汀分校的 Robot Interactive Intelligence (RobIn) 实验室开展，并部分获得 TRI (R-YFR-04-Martin-Martin)、美国国家科学基金会 (CAREER FAIN 2543745)、NVIDIA 学术资助计划、Amazon 和 DARPA TIAMAT 计划 (HR0011-24-9-0428) 的支持。本文所述观点和结论仅代表作者意见，不应被解读为必然代表美国政府或任何赞助方的官方政策或认可，无论其为明示还是暗示。
常见问题
OopsieRecover 能从人工干预中学习到什么？ 它根据干预情境、促使人工接管的语义属性，以及人工控制的后续操作，学习可复用的修正目标。
OopsieRecover 如何表示修正涉及的实体？ 它利用几何信息将实体定位在记录的观测中，并构建和跟踪实体的 3D 点集表示。
OopsieRecover 是否需要重新训练 VLA？ 不需要。它的测试时引导机制无需重新训练 VLA 即可应用修正。
评估中每个任务使用了多少次修正？ 评估涵盖仿真和真实世界中的三个任务，每个任务仅使用 5–8 次修正。