AutoIntervene 是一种在线干预框架，旨在提升动作分块策略在部署阶段的可靠性。它会将每个待执行的动作块与成功示范中的视觉—动作支持进行比较；当该动作块反复缺乏支持时，系统便转移控制权。阶段局部参考决定何时应将控制权从策略交给操作员，而全局参考决定何时将控制权交还策略，使策略能够在操作员纠正后，从任何获得支持的任务阶段恢复自主执行。在每一轮适应过程中，系统都会针对相应的检索范围，在留出的成功专家示范上重新计算动作提议与支持分数，并离线校准两套独立的切换阈值。
本文的贡献主要有三点：
- 提出一种面向动作分块模仿策略的双向干预框架：利用阶段局部支持实现从策略到操作员的控制转移，并利用全局支持实现控制权回归策略。
- 提出一种按控制模式分别进行的视觉—动作校准流程：在每轮适应中，根据各自的检索范围，利用留出的成功专家示范重新计算干预阈值与恢复阈值。
- 在九项真实世界任务上评估 AutoIntervene，结果表明，针对性干预轨迹能够以显著少于额外收集完整示范的操作员控制时间，支持策略的迭代改进。
相关工作
交互式模仿学习
传统的交互式策略适应依赖操作员监控策略执行，并手动决定何时接管以及何时归还控制权。机器人门控方法则根据部署时信号自动请求干预。LazyDAgger 利用策略与专家之间的动作差异触发专家介入，RND-DAgger 则利用随机网络蒸馏估计状态新颖性。
AutoIntervene 延续了机器人门控这一方向，但将控制转移视为一个基于支持度的双向过程：阶段局部支持决定从策略向操作员的转移，全局支持决定从操作员向策略的回归，而保留的恢复片段则为后续策略适应提供纠正数据。
AutoIntervene
控制设置
干预循环采用 ALOHA 风格的主从遥操作，并结合 TriPilot-FF 风格的机械臂侧力反馈。主臂作为操作员的输入设备，从臂则与任务环境交互。
在策略控制下，主臂和从臂接收相同的策略生成关节与夹爪指令，并保持同步。当控制权交给操作员时，每个从臂会切换为跟踪对应的、由操作员操控的主臂，因此无需重新摆放主臂即可开始纠正操作。
视觉—动作查询构建
对于双臂系统，控制指令按机械臂分组：
- 一组包含左臂的关节与夹爪指令。
- 另一组包含对应右臂的关节与夹爪指令。
视觉嵌入与预测得到的动作前缀共同构成视觉—动作查询。
视觉—动作查询将视觉表征与机器人即将执行的动作序列结合起来。
针对性干预改善策略适应
在包含七项任务的基准测试中，针对性干预始终能够改善策略适应效果。经过两轮适应后，无论是 Human 还是 AutoIntervene，整体表现都超过了 Initial 策略和 Additional Full Data。
AutoIntervene 带来的提升最为显著：七项任务的平均成功率提高了 49.1 个百分点，并且所有任务均取得增益。这些结果表明，AutoIntervene 能够有效地从学习策略诱发的失败状态中收集针对性的纠正监督。
自动切换实现更高效的策略适应
在一条 Peg Disassembly 轨迹中，两个策略—操作员—策略循环表明，AutoIntervene 可以在一次 rollout 中收集多个干预片段。
在 ACT、Diffusion 与 Flow Matching 动作头之间进行适应
为测试 AutoIntervene 是否能够迁移到 ACT 之外，研究人员在保持共享骨干网络、机器人接口和监控器不变的情况下，用 Diffusion Policy 和 Flow Matching 动作头替换 ACT 动作头。
三种动作头在连续的适应轮次中均取得提升，其 R3 策略的表现都优于 Initial 策略和 Additional Full Data。因此，无需针对动作头进行专门修改，AutoIntervene 就能迁移到不同的动作生成机制。
结论
AutoIntervene 将阶段局部视觉—动作监控、双向交接以及干预数据聚合结合起来。在九项真实世界双臂任务中，它以少于完整示范所需的额外控制数据，在连续多轮适应中改进了策略；与人工切换相比，它取得了更高的平均成功率，同时平均所需的操作员控制时间更少。
再结合针对两个切换方向分别校准的判据，这些组件能够将操作员控制集中在缺乏支持的阶段，并在策略提议重新获得示范支持后恢复自主执行。未来的工作将把在线校准扩展到更广泛的任务、扰动条件和操作员。
常见问题
什么是 AutoIntervene？
AutoIntervene 是一种在线干预框架，旨在提升动作分块模仿策略在部署阶段的可靠性。
AutoIntervene 如何决定何时将控制权交给操作员？
它利用阶段局部视觉—动作支持，并在动作提议反复缺乏支持时将控制权转交操作员。
控制权如何回到策略？
全局支持决定何时完成从操作员到策略的交接，使自主执行能够在纠正后从获得支持的任务阶段恢复。
AutoIntervene 支持哪些动作生成机制？
它无需针对动作头进行专门修改，即可迁移到 ACT、Diffusion Policy 和 Flow Matching 动作头。