本文提出了一种利用世界模型进行无奖励持续适应的框架，并在三类截然不同的空间机器人场景中进行了验证：行星表面 traversing、轨道导航和精密装配。在每种场景中，研究人员通过执行器故障或运动学失配模拟严重的形态故障，使预训练动力学与退化后的动力学之间产生显著偏差。在时间和交互次数均受限的条件下，研究将该智能体与零样本基线、能够获取特权奖励信息的智能体，以及从头训练的智能体进行比较。该工作向打造真正具备韧性的极端环境自主系统迈出了一步：机器人无需人工干预，也能应对未预见的挑战并完成自我适应。
方法
无奖励持续适应框架建立在 DreamerV3 架构之上。该架构利用潜状态世界模型，将高维观测压缩为紧凑表示。在预训练阶段，系统沿用标准流程：世界模型根据观测到的轨迹进行联合优化，同时在世界模型生成的合成 rollout 中完全依靠想象训练 actor-critic 策略。
研究的核心在于在线适应阶段。系统只更新世界模型中的转移动力学，而冻结编码器及其他预测头，包括奖励预测器。通过这一最小化改动，智能体可以利用预训练阶段学到的潜在奖励景观，引导自身适应新的环境动力学。
整个流程分为两个阶段：
- 世界模型预训练。
- 无奖励适应。
无奖励适应
机器人部署后，迟早会遇到新的环境条件和硬件退化，而这些因素可能显著改变底层转移动力学。由于 actor-critic 策略完全在想象环境中训练，其行为本质上编码了原始世界模型中的转移动力学。因此，新环境的真实动力学一旦发生较大偏离，零样本策略就可能灾难性失效，因为采样得到的动作将不再产生预期结果。
在线适应对于恢复性能至关重要。其关键难点在于，奖励可能无法观测。该框架利用预训练的奖励预测器来应对这一问题：奖励预测器在世界模型的潜空间中捕捉了底层奖励结构。适应过程中冻结该预测头后，即使转移动力学发生变化，actor-critic 仍有望根据更新后的潜在表示持续获得有意义的奖励信号。
这样一来，智能体便能通过无监督 rollout 更新转移动力学并调整策略，同时维持一致的奖励景观。
对于固定时长任务，可以冻结连续性预测器，也可以更新它，使其反映新的回合终止条件。本文选择将其冻结，是因为预训练环境与部署环境的终止条件保持不变。如果退化情况显著改变了回合结构，就可能有必要更新该预测器。
实验结果
一系列仅在仿真环境中开展的实验展示了该适应框架的关键特性。
任务定义与故障模式
研究人员在行星表面和轨道场景中设计了三个不同任务，并分别配以一种未建模的形态故障，使底层转移动力学发生显著变化。所有任务均基于 NVIDIA Isaac Lab 实现，属于 Space Robotics Bench 的研究范围。
行星表面 traversing
行星表面 traversing 任务使用了一辆受 NASA JPL ERNEST 原型车启发的实验 rover。这辆配备 12 个执行器的 rover 采用双侧主动云台悬架系统，以便在极端地形中保持接地和稳定。
任务要求 rover 穿越程序生成的障碍赛道，同时维持目标速度向量。研究人员通过锁定右前轮的转向关节和驱动关节来模拟故障，由此引入显著的非对称拖曳力。
实验方案
在两个阶段中，智能体始终可以访问本体感觉观测，以及用于相对目标跟踪的状态信息：在行星表面 traversing 和轨道导航任务中是目标状态，在螺钉驱动装配任务中则是螺栓位姿。
即使形态退化导致某些动作因执行器故障而失去作用，动作空间也保持不变。对于每项任务，适应阶段均使用三个随机种子重复进行，并采用相同的预训练模型，以评估方法的鲁棒性。
性能评估
研究跟踪四类智能体的归一化任务进度指标：
- 评估预训练策略的零样本基线。
- 在新动力学上从头训练的智能体，作为渐近性能上界。
- 能够访问特权奖励的适应型智能体。
- 无奖励适应型智能体。
除零样本基线外，无奖励智能体是唯一无法访问真实奖励信号的适应型基线。它完全依赖世界模型中编码的潜在奖励景观，因此具备应用于真实世界的可行性。
由于存在未建模的动力学变化，零样本策略在所有领域都灾难性失效。从头训练的基线证明，硬件退化后任务依然可以完成，同时也凸显了从零开始学习的极低样本效率。特权奖励智能体则展现出快速恢复能力，其性能接近从头训练基线所代表的上界。
无奖励智能体同样呈现出颇具潜力的初期恢复效果，说明潜在世界模型能够在没有外部奖励的情况下引导适应。然而，其学习曲线也暴露出明显局限。在三个领域中，该智能体的表现始终低于特权奖励基线。经过初始性能提升后，它出现了显著的波动和衰退，尤其是在轨道导航和装配任务中。
这些结果表明，潜在奖励景观足以支持短期策略恢复，却缺乏显式奖励所具备的长期稳定性。在退化形态上更新转移动力学，很可能导致循环状态空间模型的表示逐渐偏离原有潜空间。
讨论与结论
实验结果验证了核心假设：在多样化仿真环境中预训练的潜状态世界模型，能够编码一个奖励景观，使智能体无需观测新的奖励，就能据此进行在线适应。通过将动力学更新与奖励预测分离，该框架解决了空间机器人领域的一项关键瓶颈：在线计算奖励往往是不可能的。
不过，后期性能衰退暴露出循环状态空间模型的容量上限。由于奖励头保持冻结，在退化形态上持续更新核心转移动力学，最终可能覆盖预训练阶段获得的通用规律。
尽管该框架效果显著，但仍存在明显局限。为避免后期衰退，未来工作将研究局部化潜空间适配器，对动力学更新施加严格约束。
这项仅限仿真的研究也避开了 sim-to-real gap 的种种复杂性。此外，在线适应阶段所需的高强度优化远远超出空间级嵌入式计算模块严格的功耗限制，因此仍需要在高效原位学习方面取得突破。
常见问题
什么是无奖励持续适应？ 这是一种在无法观测新的外部奖励时，利用预训练潜在奖励景观，使机器人适应动力学变化的方法。
适应过程中会更新世界模型的哪些部分？ 只更新转移动力学。在本文所述条件下，编码器、奖励预测器和连续性预测器均保持冻结。
无奖励智能体与其他智能体相比表现如何？ 它能够在初期恢复性能，但始终落后于特权奖励智能体，并在后期出现波动和衰退。
后期性能衰退的原因是什么？ 在退化形态上持续更新转移动力学，很可能导致循环状态空间模型的表示偏离原有潜空间。