我们提出WEAVER，一个大规模生成式机器人操作世界模型，能够通过高质量推演轨迹实现高效的策略评估、改进和测试时规划。WEAVER在多个操作任务中优于先前方法，生成更长、更准确的预测，且推理速度更快。
结果
我们首先单独研究WEAVER世界模型的性能，然后研究其在策略评估、改进和测试时规划等下游应用中的表现。
结论
更广泛的影响。 本工作探索大规模世界模型，通过减少对昂贵真实世界交互的依赖，提高机器人操作的效率、安全性和可扩展性。推演轨迹可以在执行前支持策略评估、改进和测试时规划，但不准确或有偏差的预测可能导致风险决策，这在辅助机器人等安全关键领域尤其重要。因此，负责任的部署需要仔细验证、不确定性估计以及对学习到的世界或奖励模型误用的防范。
任务细节
PnP Bag 要求机器人拿起一袋薯片并将其放在绿色盘子上。我们使用两种类型的薯片袋，并在每个回合中随机选取一种。袋子是可变形物体，这使得抓取结果和物体运动难以预测。
PnP Marker 要求机器人拿起水平放置在桌子上的记号笔，并将其放入容器中。记号笔颜色从黑色和橙色中随机选择，目标容器从纸杯和蓝色马克杯中随机选择。该任务需要精确抓取和大幅度末端执行器重新定向，以便垂直插入记号笔。
PnP Towel 要求机器人拿起毛巾并将其放入篮子中。我们使用两种毛巾变体：折叠的厚红色厨房毛巾和薄灰色方巾，以及两种篮子变体：橙色和蓝色。该任务具有挑战性，因为毛巾是可变形物体，其最终形状很大程度上取决于抓取位置，对于折叠毛巾，还取决于抓取的层数。
Pour Beans 要求机器人拿起装有咖啡豆的杯子，并将其倒入蓝色碗中。该任务测试动态操作，因为咖啡豆的颗粒运动难以预测，成功执行需要精确控制杯子姿态、倾倒角度和运动，以避免洒出碗外。
动作空间
对于策略评估，由于每条轨迹结束时的关节位置已经可用，我们直接使用关节位置作为世界模型的输入。然而，在测试时规划时，必须根据策略提出的关节速度动作进行预测。因此，我们使用训练好的动作适配器预测相应的关节位置，并将世界模型的生成条件建立在这些适配后的动作上。
动作适配器是一个轻量级前馈模块，用于桥接世界模型的动作表示（关节速度指令和二进制夹爪信号）与机器人的可观测状态（绝对关节位置和夹爪宽度）。给定机器人当前状态和世界模型产生的最多10个动作，它预测产生的关节位置和夹爪位置增量序列，然后将其积分以获得未来的绝对状态。
部分可观测性
我们的世界模型主要依赖视觉观测，这只能提供对底层物理状态的部分访问。在操作过程中，任务相关信息，如物体接触、抓取稳定性、施加的力或被遮挡的物体几何形状，可能无法从所有可用的摄像头视角中获取。这种限制在腕部摄像头观测中尤为明显，因为视角不断变化；在杂乱场景中，物体可能离开视野或被夹爪遮挡。尽管记忆和多视角条件化在一定程度上缓解了这个问题，但当缺失状态无法仅从图像历史推断时，纯视觉预测仍可能失败。整合额外感知模态，如触觉反馈、力-力矩传感或深度信息，可能改善遮挡下的状态估计和长时域预测。
复杂的可变形和动态交互
可变形物体操作和动态操作对学习型世界模型仍具有挑战性。毛巾、袋子和颗粒材料等物体表现出高维、历史依赖的动态特性，难以从有限的机器人数据中捕捉。预测的接触、抓取位置或物体配置中的微小误差会随时间累积，导致定性上错误的推演。这在倾倒等任务中尤为明显，其中颗粒材料的运动敏感地依赖于杯子姿态、速度和与容器的接触。未来工作可能通过引入物理先验、混合神经-物理模型或专门针对可变形和颗粒动力学的神经模拟器来提高预测保真度。
测试时规划视野有限
尽管我们的推理加速策略使得使用大型生成式世界模型进行测试时规划成为可能，但延迟仍将在线规划限制为单个动作片段。因此，规划器可以改进短期动作选择，但尚无法执行长时域前瞻。这限制了其推理延迟后果或多阶段恢复行为的能力。进一步改进采样效率、模型蒸馏、价值估计或分层规划，可以在保持实时控制的同时实现更长时域的在线推理。
数据覆盖范围与具身多样性
我们的世界模型主要在DROID上预训练，该数据集提供了大规模机器人交互数据，但仍局限于特定的机器人具身和数据收集设置。这可能限制其对显著不同的机器人、相机配置或末端执行器的泛化能力。此外，我们评估中的某些任务动态，如颗粒倾倒，在预训练数据中代表性不足。将世界模型训练扩展到更多样化的来源，包括跨具身机器人数据集、仿真数据和人类视频，可能提高鲁棒性，并拓宽可以准确想象的行为范围。
常见问题
WEAVER与其他用于操作的世界模型有何不同？ WEAVER比先前方法实现了更长、更准确的推演轨迹，同时保持更快的推理速度，使其适用于在线测试时规划。
哪些操作任务用于评估WEAVER？ 评估包括可变形物体（袋子、毛巾、记号笔）的抓放操作，以及动态操作（倾倒颗粒材料，如咖啡豆）。
当前WEAVER模型的主要限制是什么？ 主要限制包括视觉输入的部分可观测性、复杂可变形动力学的困难、测试时规划视野有限，以及训练数据中具身多样性不足。
WEAVER如何处理速度动作与关节位置输入之间的差距？ 一个轻量级动作适配器模块根据速度命令预测关节位置增量，从而为世界模型条件化桥接动作表示差距。