好奇心与内在动机
为减少对人工设计奖励的依赖，内在动机方法会奖励智能体到达新颖或难以预测的状态。基于预测误差的好奇心方法将学习得到的前向模型的误差作为内在信号，而随机网络蒸馏则通过衡量对固定随机网络特征的预测误差来评估新颖性。尽管这些信号能推动广泛探索，但它们仍属于启发式方法，也不会引导交互朝向灵巧操作所需的安全、以物体为中心的接触。
从玩耍中学习
机器人玩耍学习将人类生成的无目标交互作为与任务无关的监督来源。Play-LMP 从遥操作玩耍中学习潜在计划，并将其用于目标条件控制；后续研究则从玩耍中提炼可供性，以提高样本效率。这些方法大多将玩耍视为固定的模仿学习数据集。与之不同，监督式玩耍灵巧操作（DSP）利用一批人类玩耍数据训练策略，使其成为可复用的自主数据收集机制。
监督式玩耍
这些演示记录了持续的物体交互，不设定明确目标，也不使用特定任务奖励。安全行为并非通过显式设计实现，而是在数据中隐式示范。该方法中指定了动作时域。
世界模型
作者使用前一阶段收集的玩耍数据集训练世界模型，根据近期观测历史和输入动作块预测未来观测。模型指定了上下文长度和预测时域。
训练目标采用通用形式，参数均属于世界模型。动作条件世界模型通过 Diffusion Forcing 进行训练：该方法为不同时间步的观测分配独立噪声等级，并学习以因果方式对其去噪。这使模型能够以干净的已观测历史为条件，逐步对未来观测去噪，从而基于候选动作序列进行自回归展开。
策略蒸馏
部署时，策略根据实际观测历史和目标直接预测一个动作前缀。它执行该前缀，再根据新观测更新预测，由此形成闭环策略，并将模型预测控制（MPC）搜索的计算开销摊销到策略中。
实验
实验评估了 DSP 能否将无目标玩耍转化为跨任务、适用于真实硬件的目标导向操作；玩耍引导的 MPC 相较于直接策略学习和特定任务强化学习，能否以更少交互实现学习；以及玩耍策略设计、自主玩耍规模和世界模型设计会如何影响预测与控制。
实验设置
对于重新定向任务，论文定义了任务误差和目标约束。对于任务 B，初始姿态和目标姿态在指定姿态范围内均匀采样，并满足所述约束。这样可以排除无约束随机目标方案中包含的短位移试验。
分析
论文总结了真实场景中的推理延迟。感知和规划通过本地网络在单台 RTX 5090 上运行。立方体跟踪速度能跟上 30 fps 相机，而每次重新规划耗时 134 ms：采样 1,024 个玩耍策略提案需 61 ms，批量世界模型展开需 44 ms，评分与优化需 23 ms。
批量候选评估和动作分块使实时控制成为可能。规划过程与当前动作前缀的执行重叠，因此机械手在计算下一步计划时仍会持续运动。这使闭环系统能够以 15–18 Hz 实时运行。
作为玩耍策略的行为基础模型
玩耍策略的模块化作用暗示它可能与行为基础模型存在联系。更广泛的预训练模型可以提供初始的交互技能库，而自主经验则能使模型在特定机器人和环境中校准其预测后果。一个有前景的未来方向是利用大型行为模型，并将其转化为可泛化的玩耍策略。
结论
监督式玩耍灵巧操作将有限的无目标人类玩耍转化为自主的富接触数据、动作条件世界模型，以及通过玩耍引导的 MPC 实现的目标导向控制。在仿真中，与 PPO-Match 相比，所学习的模型以训练帧数计，只需少得多的交互就能支持任意目标的重新定向；在固定规划器下进行的受控模型栈对比也显示，目标达成效果有所提升。
在真实机器人数据上，随着自主玩耍数据增加，留出集预测性能单调提升。初步硬件结果与世界模型搜索带来收益的判断一致，但在支持最终任务成功结论之前，仍需固定评估协议并量化不确定性。最终评估涵盖 Push-T 和 RGB 重新定向；其固定后的定量结果，以及好奇心方法和匹配的玩耍策略、世界模型架构对比，仍有待补充。
常见问题
什么是监督式玩耍灵巧操作？ DSP 利用一批人类玩耍数据训练可复用的自主数据收集策略，随后通过玩耍引导的 MPC 实现目标导向控制。
世界模型如何预测未来观测？ 模型根据近期观测历史和输入动作块进行条件预测。Diffusion Forcing 训练模型以因果方式对未来观测去噪。
系统如何实时运行？ 批量候选评估和动作分块使规划能够与动作执行重叠。据报告，闭环系统以 15–18 Hz 运行。
包含哪些真实机器人评估？ 最终评估涵盖 Push-T 和 RGB 重新定向。论文称，相关固定后的定量结果及若干对比仍有待补充。