WorldSample 提出了一种闭环框架，利用世界模型从真实机器人 rollout 中生成合成训练数据，并精细调控进入策略学习的合成数据量。通过将合成数据生成锚定在物理交互中，并控制数据质量，该系统加速了真实世界的强化学习，同时避免了常见的价值过高估计等问题。
目录
研究者构建了什么
团队开发了 WorldSample——一个基于物理的数据增强管线，用于在线真实世界强化学习。它由两个紧密耦合的部分组成：真实-合成数据循环和策略节奏学习。数据循环始于在线交互中收集的真实机器人 rollout。这些 rollout 既用于训练策略，也用于锚定世界模型，后者基于真实观测和反事实动作序列生成合成转换。然后，奖励模型为这些合成转换打标签，用于策略学习。
随着新的物理 rollout 不断积累，它们被用于后训练世界模型，形成一个持续反馈循环，确保合成生成的物理一致性。策略节奏学习通过两种机制控制进入训练的合成数据量：Q 值感知样本选择（平衡生成数据中的成功与失败）和不确定性引导调度（根据策略置信度调整合成数据比例）。这种设计防止模型追逐幻觉结果，同时仍能享受数据增强的好处。
关键结果
WorldSample 在配备二指夹爪的 Galaxea A1X 机器人臂上，针对五项真实世界操作任务进行了评估：推、插入、分拣、抓取放置和装配。与基线方法 HIL-SERL（仅使用真实 rollout 和演示）相比，WorldSample 在所有任务中实现了更高的成功率，并且收敛速度更快。
该框架减少了达到给定性能水平所需的物理机器人 rollout 数量，显著降低了真实世界交互成本。像插入和装配这样的精确操作任务提升最大，因为合成数据帮助策略安全探索接触丰富的环境。与无约束生成方法相比，WorldSample 在世界模型的预测中展现出更好的视频保真度和物理基础。
消融研究证实了策略节奏学习的必要性：移除 Q 值感知选择或不确定性调度会导致价值过高估计和性能下降。该框架安全利用合成数据的能力直接转化为更高效、更稳定的真实机器人强化学习训练。
工作原理
WorldSample 基于 HIL-SERL 真实机器人强化学习框架。真实回放缓冲区存储在线环境 rollout，而演示缓冲区包含专家演示和人工引导的纠正动作。关键是真实-合成数据循环：从真实动作序列开始，系统通过施加有界局部扰动来采样反事实动作轨迹，这些扰动保持了时间结构和动作统计特性。扰动后的序列被送入动作条件世界模型，该模型预测生成的视觉观测（未来帧）。然后，一个独立的奖励模型根据任务完成情况为每个合成转换打分。
策略节奏学习模块通过两种方式调节合成数据的使用： - Q 值感知样本选择平衡生成轨迹中成功与失败的比例，防止评判者对罕见低概率成功过于乐观。 - 不确定性引导调度使用策略的熵作为不确定性的代理。当策略不确定（高熵）时，系统保守使用合成数据；随着策略收敛（低熵），允许更多合成数据进入训练。
整个系统在线运行：收集真实 rollout，后训练世界模型，生成新合成数据，策略节奏学习调整其贡献——所有这些都在闭环中随策略更新进行。这种设计确保合成数据扎根于物理现实，并防止许多基于模型的强化学习方法中出现的失控性过高估计。
对机器人领域的意义
真实世界机器人学习的瓶颈在于物理交互的成本和风险。在工厂车间或仓库中，每小时的机器人操作可能非常昂贵，而训练过程中的失败可能损坏产品或设备。WorldSample 直接应对这一问题，从每个物理 rollout 中提取更多学习价值——在没有额外硬件时间的情况下有效倍增训练经验。
对于在精密装配或分拣任务中部署机器人臂的公司来说，这意味着更快的部署周期和更低的干预成本。该框架适用于标准硬件：实验使用了配备 Intel RealSense 相机的 Galaxea 臂，这是现代二手协作机器人和二手工业机器人配置中常见的组件。由于 WorldSample 增强现有强化学习管线而非替代它们，它可以集成到当前的机器人学习栈中，无需重大架构更改。基于物理的数据增强原理也适用于其他领域——仓库拣选、装箱，甚至人形机器人都可能受益于类似的闭环世界建模。
局限性与开放问题
目前 WorldSample 在单一任务和相对固定的场景分布中运行。虽然在线 rollout 适应改进了此设置中的世界模型，但泛化到新任务、物体或环境的问题尚未解决。世界模型本身是任务特定的，需要为每个新操作技能重新训练或微调。此外，该框架依赖奖励模型为合成数据打标签——该模型的错误可能传播到次优的策略学习中。在资源受限的机器人控制器上实时部署时，运行世界模型和奖励模型的闭环计算开销也可能是一个问题。
常见问题
WorldSample 会完全取代真实机器人交互吗？ 不会。真实交互仍然是策略训练和世界模型更新的基础。合成数据增强而非替代物理 rollout。
WorldSample 最适合哪些任务？ 它擅长接触密集和精确操作任务，如插入、装配和分拣，其中合成数据有助于安全探索有风险的物理交互。
WorldSample 能否与任何机器人臂和视觉装置配合使用？ 该框架与相机无关，兼容任何可流式传输观测和动作的机器人。实验使用了配备 Intel RealSense 深度相机的 Galaxea 臂。
策略节奏学习是否需要手动调参？ 不需要。不确定性引导调度是自动化的——它读取策略的熵并相应调整合成数据比例。Q 值感知选择无需手动调整权重即可平衡成功/失败比例。
结论
WorldSample 提供了一种实用的方法，通过从世界模型生成安全、基于物理的合成数据，加速真实世界机器人强化学习。其策略节奏学习机制确保合成数据有助于而非损害性能，减少了达到任务熟练度所需的物理机器人小时数。对于希望加快机器人技能获取同时降低硬件风险的团队来说，这个闭环框架是一个强有力的候选方案。
基于物理的世界模型最终能否让机器人完全在仿真中学习，还是说真实交互始终必不可少？