在物理机器人上部署反应式视觉运动策略需要实时推理，但现代架构在处理高维视觉观测时会产生显著的延迟开销。我们提出了一种反应式实时流策略，通过重新设计处理流程，在保持任务性能的同时实现快速、类似反射的响应。我们的方法将视觉处理与控制解耦，使用轻量级本体感受通路以1 kHz频率运行，视觉上下文则异步提供。
架构概述
核心洞察在于：反应式行为主要依赖本体感受反馈，而视觉信息则以较粗的时间尺度提供空间上下文。我们设计了一个双流架构：一个以千赫兹频率运行的快速本体感受策略，和一个以10 Hz更新的较慢视觉处理流。本体感受流采用扩散策略公式，并以其最新的视觉特征为条件。
训练方法
我们使用行为克隆在演示数据上单独训练视觉编码器，然后在训练本体感受策略时将其冻结。本体感受策略使用流匹配目标进行训练，学习生成平滑、反应式的轨迹，并以当前本体感受状态和最新的视觉嵌入为条件。这种解耦训练方法无需通过整个系统进行端到端反向传播，即可实现高效学习。
实时实现
该系统在配备GPU（用于视觉推理）和独立CPU线程（用于本体感受策略）的标准台式机上运行。线程间通信使用无锁环形缓冲区以最小化延迟。对于本体感受流，端到端推理时间低于0.5毫秒，使得机器人能够在单个控制周期内做出反应。
实验结果
我们在四个具有挑战性的操作任务上进行了评估：动态物体捕捉、到达过程中的障碍物规避、带扰动的插销插入以及移动障碍物下的布料折叠。我们的方法在任务成功率上匹配或超越了先前最先进的方法，同时将反应延迟降低了两个数量级。
| 任务 | 我们的方法（延迟） | 先前最先进（延迟） | 我们的方法（成功率） | 先前最先进（成功率） |
|---|---|---|---|---|
| 动态捕捉 | 0.3 ms | 42 ms | 91% | 88% |
| 障碍物规避 | 0.4 ms | 38 ms | 94% | 92% |
| 插销插入 | 0.5 ms | 45 ms | 97% | 96% |
| 布料折叠 | 0.4 ms | 40 ms | 85% | 83% |
消融研究
我们进行了消融实验以理解每个设计选择的贡献。移除异步视觉更新会导致动态任务性能下降15-20%。将本体感受策略的更新速率从100 Hz提高到1 kHz，捕捉任务的成功率提高了8%，证实了高频控制对于反应式行为的重要性。
局限性
我们的方法有几个局限性。首先，我们没有解决模型本身之外的延迟来源，例如推理服务器与机器人客户端之间的通信延迟。其次，我们保持基础策略架构不变；设计更强调本体感受特征（例如为本体感受标记设置专门的注意力头）可以进一步增强反应性，我们留待未来工作探索。
常见问题解答
这种方法与其他实时机器人控制方法有何不同？ 本工作将视觉处理与控制解耦，使得轻量级本体感受策略以1 kHz运行，而视觉上下文仅以10 Hz异步更新。
视觉流和本体感受流分开训练的训练过程是怎样的？ 视觉编码器首先通过行为克隆训练，然后冻结。本体感受策略随后使用流匹配单独训练，以冻结的视觉嵌入和当前机器人状态为条件。
实现报告中的延迟需要什么样的硬件？ 该系统在配备GPU用于视觉推理的标准台式PC上运行，并使用CPU线程用于高频本体感受策略，线程间通信通过无锁环形缓冲区实现。
这种方法可以应用于具有不同传感模态的机器人吗？ 双流架构是通用的——任何在较慢时间尺度上提供上下文的高维传感器都可以异步处理，而快速的低维反馈回路则负责反应式控制。