一个机器人研究团队构建了一套视觉—语言—动作系统，将任务图、事件记忆、基于摄像头的状态转移检查和稀疏视觉引导结合起来，用于执行长流程操作任务。在一项包含七个步骤的器械处理流程中进行测试时，该系统将规划与控制分离：符号结构负责选择下一个有效子目标，经过微调的机器人策略则负责推断完成该目标所需的具体动作。
目录
研究人员构建了什么？
这套系统是一种神经符号机器人控制器。神经组件负责视觉理解和连续物理控制，符号组件则将整个流程表示为有向任务图。图中的每个节点描述一个子目标，任务图决定下一个可以执行的子目标。随后，视觉—语言—动作（VLA）模型将该子目标转化为机器人的运动。
系统还加入了事件记忆。它会记录已经完成的步骤以及场景中的相关变化，让高层控制器能够追踪流程进度，而不是把每一帧摄像头画面都当成一次彼此独立的决策。在包含前置依赖、条件分支，或由人类及另一台机器人完成部分工作的任务中，这一点尤为重要。
两个摄像头视角负责连接规划与执行。固定的基座摄像头提供物体、容器和目标位置的稳定全局视图；腕部摄像头则在机器人执行操作时提供近距离信息。两者结合后，系统可以进行状态转移验证：检查上一个动作是否确实产生了下一个动作所需的场景状态。
研究还考察了稀疏程序显著性。该方法不突出整幅图像，而是识别与示范子目标相关的关键视觉点。这个点类似于程序性的“伪注视”，告诉控制器当前步骤中哪个空间关系最重要。
系统取得了什么结果？
初步的对齐实验使用了231段远程操控示范，内容是一套七步器械处理流程。研究人员在三种视觉引导条件下评估了五个子目标；每个子目标和条件进行五次试验，共计75次评估。
实验比较的重点是：视觉提示在部署时是否应继续显示，还是应被学习到的策略吸收。一种检查点在训练时使用了提示，但测试时去掉了模型预期会看到的叠加层。第二种采用相同的训练设置，并在测试时保留视觉提示。第三种使用正则化，让模型在训练阶段利用监督信息，同时在推理时接收干净图像。
在这一初始设置中，报告的得分已经达到饱和，也就是说，实验没有在这些配置之间暴露出明显的性能差异。论文摘录没有给出确切的成功率，因此不能声称某个具体的数值成功率。更明确的结果体现在架构层面：显式提示保留了可解释的空间线索，而正则化则去除了叠加层，让模型将这种引导内化。
| 评估项目 | 报告数值 |
|---|---|
| 远程操控训练回合 | 231 |
| 流程步骤数 | 7 |
| 评估子目标数 | 5 |
| 视觉条件数 | 3 |
| 每个子目标和条件的试验次数 | 5 |
| 评估试验总数 | 75 |
研究还发现，对于测试中的多视角策略，基座摄像头提供的引导已经足够。全局视图似乎能够解析关键空间关系，而腕部视图则支持近距离操作。这一结果很有参考价值，但尚不能证明空间引导能够可靠地在不同摄像头视角或未见过的场景之间迁移。
机器人流程如何运作？
完整流程遵循“观察—对齐—记忆—选择—执行—验证”的循环。
首先，机器人通过固定基座摄像头和腕部摄像头观察工作空间。对齐过程将语言和任务指令关联到场景中的具体物体、位置及其关系。例如，一个子目标可能要求把器械移动到特定容器中，而不只是找到一个外观相似的物体。
接下来，事件记忆更新任务状态。有向图充当程序约束：在前置条件尚未完成时，阻止控制器选择后续动作。如果某项依赖由人类完成，同一记忆结构最终也可以将对应节点标记为已完成，从而解锁机器人的下一步动作。
任务图不会生成细致的运动轨迹，而是将一个有效子目标发送给VLA控制器。VLA模型结合视觉观测和子目标描述，生成连续的机器人动作，例如伸手、抓取、搬运或放置。这样的分工让每个组件承担更明确的职责：任务图负责“下一步做什么”，学习型控制器负责“具体怎么做”。
执行完成后，感知模块会检查状态转移。系统寻找预期物体、目标位置或场景配置已经出现的证据，确认后才允许流程继续。对于长流程任务而言，这一步至关重要，因为早期的一个小错误就可能使后续所有动作失效。
显著性方法为VLA增加了空间监督。研究人员在一条具有代表性的基座摄像头轨迹上标注了一个随时间变化的点，用于标示程序相关性。DINOv2视觉特征结合时间描述子和稠密空间对应关系，将这一点迁移到重复示范中。随后，金字塔Lucas–Kanade光流在连续帧之间稳定该点的位置。
训练期间，模型可以接收可见的视觉提示，也可以接收正则化监督。推理时，正则化版本接收的是不带人工叠加层的干净图像。因此，这项技术检验的是：机器人能否学会相关空间关系，而不依赖部署场景中并不存在的标记。
这对机器人技术为何重要？
大多数机器人示范集中于孤立动作：抓取一个物品、移动它，或将其放置到某处。而真实部署通常涉及一连串相互依赖的动作、不断变化的场景状态、与人的交接，以及在执行不完美时进行恢复。即使底层策略能力很强，只要它重复早先的步骤、在前置条件完成前就开始行动，或误以为放置已经成功，仍然会失败。
这套架构通过将程序推理与物理控制分离，正面应对了这一缺口。任务图提供了可检查的工作流表示，事件记忆则记录流程进度。基于摄像头的验证在每个动作后设置检查点，避免错误在不知不觉中逐步累积。
这种方法适用于实验室自动化、器械处理、套件装配、机床上下料和装配作业。对于评估二手工业机器人的运营团队而言，这类软件架构或许能在不把每台机器人都替换为完全自主平台的情况下，增加流程上的灵活性。
该设计也支持协作。人类或另一台机器人可以完成某个任务依赖，随后事件记忆允许当前机器人继续执行。这比假定机器人始终独占整个任务的控制器，更接近人机混合工作单元的实际运行方式。
还存在哪些局限？
初步实验是一次对齐研究，而不是对完整长时域系统的端到端验证。它尚未测量完整任务成功率、任务图顺序是否合法、系统能否识别人类已经完成的依赖、状态转移验证的准确率、故障恢复能力，或早期失败后的表现。
得分饱和也限制了对可见提示和正则化引导的比较。由于测试流程看起来较为熟悉且受约束，两种方法都可能表现良好，从而无法揭示它们在分布偏移条件下的行为。
仍有许多重要测试有待开展：调换源位置和目标位置的几何关系，分别移动物体与容器，评估留出的新场景，以及改变摄像头视角。现有结果也无法证明，在基座摄像头视图中学到的显著性能够迁移到腕部摄像头坐标系。未来实验可以用人类第一视角的注视信息取代伪注视，但这种跨视角迁移目前仍未得到验证。
买家和工程师会提出哪些问题？
任务图解决了什么问题？ 它约束子目标的执行顺序，防止底层机器人策略选择无效的下一步动作。
机器人在部署时需要视觉叠加层吗？ 不一定。正则化版本的设计目标，就是将引导信息内化，并使用干净的摄像头图像运行。
研究是否展示了完整长时域任务的成功执行？ 没有。研究在75次试验中评估了五个子目标，而完整流程的成功率和故障恢复能力仍有待验证。
为什么同时使用基座摄像头和腕部摄像头？ 基座摄像头提供全局空间背景，腕部摄像头则在操作过程中支持近距离控制。
结论是什么？
该系统将符号化任务结构、事件记忆、视觉状态转移检查和学习型VLA控制器结合起来，试图解决长时域机器人操作中的关键弱点。初步研究展示了一条可行路径：将空间示范转化为更简洁的策略输入。不过，这套架构能否超越熟悉流程，最终仍取决于它在更广泛场景和任务中的泛化能力。
哪些机器人任务最适合采用显式任务图和事件记忆？