斯坦福大学研究人员提出了一种新的扩散策略架构，使机器手臂和移动底盘能够同时在多个坐标系中进行推理，其成功率高于任何单坐标系策略——甚至包括一个能提前预知最佳坐标系的“先知”策略。混合坐标系（MoF）策略是首个视觉运动系统，能在不同的空间参考系中并行去噪动作轨迹，融合它们的预测以选择每个运动的最优路径。
目录
研究团队构建了什么
大多数用于机器人操作的扩散策略在单一坐标系中定义动作——例如，相对于机器人底盘的坐标或相对于末端执行器的坐标。但双臂移动操作任务的不同阶段在不同的坐标系中学习更容易。抓取物体在腕部坐标系中更自然；移动底盘在全局坐标系中更容易。MoF通过为每个候选坐标系（例如，底盘相对坐标系、左夹爪相对坐标系、右夹爪相对坐标系和轨迹相对坐标系）实例化一个专家去噪器，并并行运行它们来解决这一问题。
在每个去噪步骤中，所有专家接收相同的规范化噪声动作，并将其转换到各自的坐标系，预测该坐标系中的噪声，然后将预测结果转换回规范坐标系。一个学习得到的路由模块对这些预测进行加权——通过软混合专家组合或均匀集成——以产生最终的去噪动作。关键的是，MoF还引入了一种列向量动作表示，使得噪声动作的变换精确且可微，这是多帧去噪正确工作的必要条件。
关键结果
研究团队在两个基准测试的九个双臂移动操作任务上评估了MoF：使用RB-Y1机器人的BiGym和使用双臂移动平台的DexMimicGen。任务包括倒水、上菜、放置和协调双臂抓取。MoF与以下方法进行了比较：
- 单坐标系策略（底盘相对坐标系、左夹爪相对坐标系、右夹爪相对坐标系、轨迹相对坐标系）
- 先知最佳坐标系（每个任务的最佳单坐标系策略，通过事后选择）
- MoE-DP（一种标准的混合专家扩散策略，仅以多坐标系为条件，但仅在单一坐标系中去噪）
MoF在所有九个任务上持续优于所有单坐标系基线。更引人注目的是，MoF还超越了先知最佳坐标系策略——这意味着结合多个坐标系比使用最优的单坐标系能带来更好的性能。在需要复杂协调的任务上，例如双臂倒水（两个手臂和底盘必须同时移动），改进最为显著。MoF还对人工注入的坐标系不确定性具有鲁棒性，在坐标系变换存在噪声时仍能保持高成功率。
工作原理
MoF基于标准扩散策略框架，其中神经网络将随机噪声迭代去噪为干净的动作轨迹。关键创新在于同步的多帧去噪循环。
- 动作表示：动作被表示为规范坐标系（例如，底盘坐标系）中的列向量。关键的是，这种表示支持到任何其他坐标系的精确线性变换——包括噪声动作——从而无需近似误差即可实现一致的多帧处理。
- 多帧去噪步骤：给定当前规范坐标系中的噪声动作，MoF通过可微变换将其转换到每个专家的坐标系。每个专家去噪器（一个小型神经网络）预测其自身坐标系中的噪声。这些噪声预测随后被转换回规范坐标系并进行融合。
- 融合：测试了两种融合方法：学习得到的路由模块输出每个专家的软权重，以及均匀平均。学习得到的路由模块通过去噪损失进行端到端训练。为了防止未使用的专家漂移，一个辅助的逐专家损失直接监督每个专家的输出与其自身坐标系中的真实噪声。
与MoE-DP的关键区别：在MoE-DP中，混合发生在条件路径（特征）中，且单个去噪器在一个坐标系中工作。在MoF中，混合发生在去噪层——每个专家对同一底层动作的不同参数化进行处理。这意味着MoF可以利用动作分布在各个坐标系中的自然结构，而不仅仅是增加模型容量。
对机器人技术的重要性
双臂移动操作是当今机器人技术中最困难的挑战之一。协调两个手臂和移动底盘造成了高维度的动作空间和复杂的依赖关系。选择正确的动作坐标系依赖于任务甚至依赖于阶段——固定的选择会损失性能。MoF自动实现了这种选择，无需手动调整或针对特定任务的工程。
实际意义： - 减少工程负担：操作员不再需要为每个新任务手动选择最佳动作坐标系。MoF自动适应。 - 更好的协调：通过允许策略同时在多个坐标系中推理，MoF处理了手臂和底盘必须协作的任务（例如，一起搬运大物体）。 - 即插即用：MoF可以以最小的改动添加到现有的扩散策略流程中；多帧专家共享相同的视觉编码器。
对于在仓库或服务场景中集成双臂人形机器人或协作机器人的团队，MoF提供了一条无需逐任务坐标系工程即可实现更鲁棒、数据效率更高的操作路径。
局限性与开放问题
当前研究聚焦于相对较小的扩散策略（低于1亿参数）。将MoF扩展到大型视觉-语言-动作（VLA）模型仍有待探索。路由模块仅基于去噪损失训练，这可能与任务成功不完全一致——行为感知的训练目标可以改善实际性能。MoF还需要预定义的候选坐标系集合和精确的本体感受变换；自动发现坐标系以及对不确定性变换估计的鲁棒性是开放的研究方向。最后，运行多个专家去噪器的计算成本随坐标系数量线性增长，这可能会影响资源受限机器人的实时部署。
常见问题解答
什么是坐标系，为什么它们很重要？ 坐标系定义了描述机器人运动的参考点——例如，相对于机器人的底盘、左夹爪或物体。不同的任务在不同的坐标系中更容易学习，因为动作分布变得更简单（例如，更少的旋转或平移）。MoF通过同时使用多个坐标系来利用这一点。
MoF与标准的混合专家策略有何不同？ 标准的混合专家在单个去噪器之前混合特征，但MoF混合去噪预测本身——每个专家在不同的动作参数化中工作。这使得策略能够利用动作在不同坐标系中的自然简洁性。
MoF适用于单臂或非移动机器人吗？ 是的。该概念适用于任何存在多个相关坐标系的机器人，例如安装在移动底盘上的单臂或固定双臂机器人。候选坐标系可以相应选择。
实验中使用了什么硬件？ 研究团队使用了两个模拟基准测试：BiGym（使用RB-Y1人形机器人）和DexMimicGen（使用双臂移动平台）。实际环境验证被提及为正在进行中的工作。
结论
混合坐标系是一个简单但强大的想法：不是强迫扩散策略在一个坐标系中学习，而是让它在多个坐标系中学习并组合结果。实验表明，在一系列双臂移动操作任务中，MoF持续取得改进，甚至超越了最佳单坐标系先知。这项工作指向了一个未来，即视觉运动策略自动调整其空间推理以适应每个任务的结构。
如果你的策略能够自动为每个阶段选择最佳参考坐标系，你会简化哪个机器人任务？