DuoMind如何助力两台机器人通过共享语言协同工作

DuoMind为每台机器人配备一个本地视觉推理模型，由它选择下一项子任务，再将简短的自然语言指令传给独立的控制器执行。机器人还会交换结构化信息，说明各自的意图、预期结果、掌握的信息以及对此有多大把握，从而帮助两台独立控制的机械臂在不依赖单一中央策略的情况下协同完成长流程任务。

目录

• DuoMind构建了什么？
• DuoMind报告了哪些结果？
• DuoMind如何协调机器人？
• DuoMind对机器人技术有何意义？
• DuoMind有哪些局限与待解问题？
• 工程师需要了解DuoMind的哪些信息？
• 核心结论是什么？

DuoMind构建了什么？

DuoMind是一套框架，用于协调两台独立控制的机器人完成需要多步操作和相互配合的任务。它不采用一个中央控制器向两台机器人下达联合指令，而是让每台机器人各自运行推理和动作组件。机器人会查看本地摄像头画面，结合整体任务和来自伙伴的信息，再决定下一步该做什么。

该框架将工作分为两个层级。视觉语言模型（VLM）负责高层推理：理解任务、确定机器人当前的子任务，并考虑另一台机器人的行动。视觉语言动作模型（VLA）负责底层执行：根据机器人的视觉观测，将简洁指令转化为具体动作。

研究人员还创建了RoboPoly，这是一个聚焦两台独立机械臂协作的基准。它包含七项操作任务，包括上菜、准备零食、清理桌面、用锅烹饪以及交换面包。这些任务经过设计，使一台机器人无法总是独立完成任务，或无法高效地独自完成。该基准使用两台位于共享工作空间两侧的Franka Emika Panda机械臂。

DuoMind报告了哪些结果？

论文报告称，与依赖单一固定任务指令的方法相比，DuoMind能够改善协同效果。在较简单的设置中，机器人只会收到宽泛的指导，对伙伴正在做什么所知有限。DuoMind则让每台机器人根据任务当前状态以及另一台机器人共享的信息，调整下一条指令。研究人员报告称，这有助于避免行动冲突，并在执行未按计划进行时支持恢复。

与实验中纳入的RoboTwin任务相比，DuoMind在RoboPoly上的优势更为明显。作者将这一差异归因于RoboPoly任务流程更长、对稳定协作的需求更高：随着任务步骤和协调决策增多，高层推理与通信的作用也更大。

所提供的论文文本未包含数值成功率、基线方法名称或详细指标表。下表描述的是报告中的实验规模，而非任务成功情况。

因此，RoboPoly的结果令人鼓舞，但此处无法按百分比或绝对成功率进行比较。现有描述支持一项定性结论：当任务流程较长，且伙伴的行动可能改变机器人下一步该做什么时，协调层似乎最有价值。

DuoMind如何协调机器人？

每台机器人会反复综合三类信息：整体任务指令、自身的视觉观测，以及伙伴发来的信息。VLM利用这些上下文选择短期子任务，并为其VLA编写自然语言指令。随后，动作模型根据本地视觉输入执行该指令。这种分工将任务规划与协调和细粒度运动控制分开。

共享信息包含四种可能的字段：

• 意图：发送信息的机器人计划接下来做什么。这让伙伴有机会避免干扰。
• 子目标：发送方预计当前动作完成后达到的任务状态。这有助于另一台机器人做好准备，或选择相互兼容的下一步行动。
• 任务信念：发送方观察到或推断出的有用信息，例如物体所在位置或某个步骤是否完成。
• 信念不确定性：关于信息可靠程度的可选提示，在机器人视角不完整或相互矛盾时有所帮助。

自然语言既是每台机器人控制系统内部各组件之间的接口，也是机器人彼此通信的接口。VLM可以向VLA发送易读的指令，而两个模型不必使用专门的联合接口。同一种消息格式也可以用于采用不同模型的智能体之间，人们还可以用日常语言查看或修改指令。论文将这些内容描述为设计优势；实验关注的是机器人任务表现，而非人在回路中的操作。

在RoboPoly中，每台Panda机械臂有七个自由度，并配备腕部摄像头；两台机器人还可以使用工作空间旁的一台共享摄像头。每个策略只控制一条机械臂，物体则在各任务特定区域内随机摆放。示范将视觉观测和机器人动作与整体任务指令及阶段级语言指令配对。

DuoMind对机器人技术有何意义？

许多实用的机器人工作并不是重复一个动作就能完成的。机器人可能需要注意到伙伴移动了物体，更新计划，并协调多个动作的先后顺序。DuoMind通过将通信纳入任务求解循环来应对这一问题，而不是要求每台机器人仅凭摄像头图像推测另一台机器人的计划。

这种架构还提供了一种结合现有模型的实用方式。推理模型可以专注于任务上下文与协同，动作模型则负责执行其受训完成的物理控制。由于这些组件通过自然语言连接，团队有望替换其中一个模型，而无需重新设计整个系统。对于评估用于共享工作空间任务的二手协作机器人或其他机械臂的工程师而言，这种模块化设计具有参考价值；不过，论文测试的是模拟操作任务，而非商业部署。

该研究的基准也是一项贡献。RoboPoly针对两台独立机器人及明确的协作任务，与侧重单台机器人上两条机械臂的基准有所不同。其任务设计和基于规划生成的示范，为研究人员提供了一个共同起点，用于测试通信与高层推理能否改善多机器人作业。

DuoMind有哪些局限与待解问题？

该评估聚焦于双机器人团队。论文指出，更大规模的团队会增加任务设计、数据采集和计算成本，因此尚未测试三台或更多机器人协作时的表现。真实部署还需要应对通信延迟、消息丢失、摄像头环境变化，以及错误指令带来的安全后果。

现有结果属于定性描述：所提供的文本没有给出成功率数值、统计比较，也未说明基线方法的名称和详细表现，因此难以判断改进幅度及其一致性。实验采用模拟基准和基于规划生成的示范，因此在实体机器人和结构化程度较低的任务中的表现仍有待研究。对不确定性消息和人工审核价值的评估也需要更加直接。

工程师需要了解DuoMind的哪些信息？

DuoMind用一个控制器控制两台机器人吗？ 不是。每台机器人都有自己的推理和动作组件，每个策略只控制一台机器人。

机器人彼此共享什么信息？ 它们通过语言消息交换计划执行的动作、预期子目标、与任务相关的观测，以及在某些情况下对这些观测的信心程度。

论文报告了确切的成功率吗？ 所提供的文本报告了定性改进，但没有给出数值成功率或详细的基线比较。

DuoMind在实体机器人上进行过测试吗？ 所述实验采用模拟操作基准，包括RoboPoly和选定的RoboTwin任务。

核心结论是什么？

DuoMind让每台机器人都能进行本地推理、用语言交流计划，并随着共享任务的变化调整下一步行动。报告结果表明，它在流程较长、协作需求较高的任务中最有价值；更大规模的团队和真实环境中的表现仍未经测试。

哪种共享任务最能受益于机器人交流各自的下一步计划？