研究人员开发了 HarmoWAM，一种机器人操作系统，通过共享世界模型和两个动作专家——一个用于泛化运动，一个用于精细交互——并利用自适应门控机制根据实时视觉反馈切换两者，实现了在新环境中的零样本泛化，同时不牺牲精细操作精度。该方法在多个任务和域外场景中优于先前的世界动作模型。
目录
研究人员构建了什么
HarmoWAM 是一个端到端的 World Action Model（WAM），它在单个学习的世界模型下统一了两种互补的控制策略。先前的 WAM 只能做到其中之一——要么用粗糙运动泛化到新环境，要么在熟悉环境中执行精确交互——但不能同时做到。HarmoWAM 架构通过部署两个并行的动作专家解决了这个问题：一个预测专家，针对长视野、粗糙的过渡运动（例如，将机械臂穿过工作空间移向目标）进行了优化；另一个反应专家，专为短视野、接触密集的交互（例如，抓取、插入、对齐）而设计。
该系统的核心创新是一个过程自适应门控机制，它利用共享世界模型的视觉特征自动区分过渡和交互阶段。在执行过程中，门控分类器在每个时间步以超过96%的准确率在两个专家之间路由控制。世界模型本身提供时空潜在特征，为两个专家提供条件，使它们对场景动态、物体关系和任务进展有一致的理解。
该系统在六个任务上进行训练，涵盖单臂和双臂操作，包括拾放、堆叠、倾倒和插入。然后在三种类型的域外场景中进行测试：未见过的背景、未见过的物体位置和未见过的物体。
关键结果
- 门控分类器准确率：在保留测试演示（1,637帧对）上达到96.95%。
- 域外性能：在最具挑战性的位置域外场景中，简单的平均路由等方法导致任务成功率下降46%，而基于关键帧的平均将下降幅度减少到31%。HarmoWAM 的过程自适应门控显著优于两者。
- 世界模型潜在特征至关重要：从反应专家中移除这些特征导致其在分布内性能下降到65%，域外平均性能下降到54%。从预测专家中移除这些特征导致分布内性能从95%下降到62%。
- 在三个域外维度上成功泛化：背景杂乱和光照、未见过的空间位置、以及不同形状和外观的新物体（例如，胡萝卜→青椒，可口可乐罐→红牛罐）。
下表总结了在将花插入花瓶和取水果到盘子任务上的消融研究（报告平均性能）：
| 变体 | 分布内性能 | 域外位置 | 域外背景 | 域外物体 |
|---|---|---|---|---|
| 平均路由 | 基准 | −46%下降 | −38%下降 | −42%下降 |
| 基于关键帧的平均 | 接近基准 | −31%下降 | −28%下降 | −33%下降 |
| HarmoWAM（过程自适应门控） | 95% | 小幅下降 | 小幅下降 | 小幅下降 |
| HarmoWAM 无世界模型潜在特征（反应专家） | 65% | 域外平均54% | — | — |
| HarmoWAM 无世界模型潜在特征（预测专家） | 62% | — | — | — |
数字来自消融表，近似值；精确值见完整论文。
工作原理
HarmoWAM 建立在单个共享世界模型之上，该模型在每个时间步输出场景的视频类潜在表示。这些潜在编码了当前观察和对未来状态的预测，使系统具有时间上连贯的世界理解。
世界模型的潜在特征被输入两个并行的动作头： - 预测专家：输出开环、长视野的动作序列（例如，接近目标的轨迹）。它训练用于最小化多个时间步的误差，迫使其学习可泛化的运动模式。 - 反应专家：输出基于即时视觉反馈的闭环、短视野动作。它通过细粒度接触意识训练，并对场景中的细微变化做出反应。
过程自适应门控机制是关键促成因素。在训练期间，系统使用简单的启发式自动将每个时间步标记为“过渡”或“交互”：关键帧前后各20帧的窗口（例如，当夹爪位置偏离直线超过阈值时）。对于双臂任务，如果任一臂满足交互标准，则该时间步标记为交互。使用世界模型潜在作为输入，根据这些标签训练分类器。
在推理时，门控分类器在每个时间步运行，并激活一个专家。预测专家在过渡阶段（粗糙、高速运动）驱动机器人，反应专家在交互阶段（接触建立、微调、释放）接管。由于两个专家都受同一世界模型的相同潜在特征条件限制，确保了状态连续性，切换是无缝的。
动作空间对于单臂任务是7维，对于双臂任务是14维。训练使用预测动作与真实动作之间的平滑L1距离的加权和，并加上世界模型的额外辅助损失。
为何对机器人学重要
当前大多数操作系统要么擅长可泛化运动（如从不同姿态导航或拾放），要么擅长精确交互（如插销入孔或装配），但不能同时做到两者。这迫使系统集成商在灵活性和精度之间做出选择——或者部署难以协调的分离控制栈。
HarmoWAM 表明，单个统一策略可以通过计算轻量的门控机制处理两个阶段。对于实际应用，这意味着： - 工业机器人进行拣选和装配时，可以适应新零件和位置，无需手动重新调整。 - 二手协作机器人可以配备这样的系统，在仓库场景中处理订单拣选（过渡）和精确放置（交互）。 - 仓库机器人需要应对变化布局、杂乱和新物体，将从域外测试中展示的零样本泛化中受益。
该方法对于双臂任务尤其有前景——当一只手臂处于过渡而另一只处于交互时，门控机制同时处理两只手臂。这可能解锁更强大的人形机器人，它们需要协调手臂完成如提起、搬运和装配等任务。
局限性和开放问题
- 任务范围：六个任务虽然多样，但仍是实验室演示。系统尚未在高度可变形物体（布料、电缆）或需要工具使用的任务上进行测试。
- 域外鲁棒性：门控分类器在保留演示上达到96.95%的准确率，但在完全未见过的环境中准确率可能下降。论文未报告门控本身在域外场景的准确率。
- 实时约束：完整流程包括一个世界模型和两个动作头。在边缘硬件上的延迟可能成为高速装配的瓶颈。
- 可扩展性：训练需要能够泛化的世界模型——目前仍是一个开放挑战。如果世界模型无法为新场景生成有意义的潜在表示，两个专家都会退化。
- 过渡中的安全性：预测专家以开环方式运行。如果动态障碍物进入工作空间，系统可能无法快速反应，直到切换到反应专家。
未来工作可以探索门控策略的端到端学习、处理更长视野，以及将范式应用于移动操作或运动控制。
常见问题解答
HarmoWAM 解决了什么问题？ 它解决了机器人学习中粗糙、可泛化运动与精确、细粒度操作之间的权衡。先前的世界动作模型只能做好其中之一。HarmoWAM 使用门控机制无缝地结合了用于过渡的预测专家和用于交互的反应专家。
门控机制如何知道何时切换专家？ 在训练期间，系统使用关键帧周围的时间窗口（例如，夹爪速度急剧变化时）自动将帧标记为“过渡”或“交互”。根据这些标签，使用共享世界模型的特征训练分类器。推理时，它在每个时间步运行并相应地切换专家。
HarmoWAM 适用于双臂机器人吗？ 是的。对于双臂任务，如果任一臂进入交互阶段，整个时间步被标记为交互。门控机制然后将两个臂切换到反应专家，确保协调的精细控制。
实验使用了什么硬件？ 论文未指定具体机器人平台，但动作空间（7或14维）表明使用了带平行夹爪的标准7自由度机械臂，可能以双臂配置使用。
对新物体的泛化能力如何？ 在“未见物体”域外场景中，HarmoWAM 成功操作了替代品，如用青椒代替胡萝卜，用红牛罐代替可口可乐罐，适应了抓取策略和交互模式。
整个系统是端到端训练的吗？ 是的。世界模型、两个动作专家和门控分类器都通过损失加权和联合训练。世界模型为两个专家提供条件潜在特征，确保一致性。
结论
HarmoWAM 表明，单个世界模型可以通过自适应门控机制在两个互补动作专家之间路由控制，同时支持可泛化的过渡运动和精确操作。凭借超过96%的门控准确率和在三种域外场景中的强劲性能，这项工作指向了不再牺牲通用性换取精度——或反之——的机器人控制系统。
类似的门控机制是否可以应用于人形机器人的运动控制或全身控制？