冻结的视觉-语言-动作（VLA）机器人策略无需重新训练动作生成器，也能学会新任务：噪声空间学习（NSL）改变的是输入生成器的噪声。模拟环境和真实机器人上的测试表明，这种轻量级适配可与更新生成器或添加动作修正的方法相媲美，同时所需的梯度更新相对较少；在机器人交互成本高昂时，这不失为一种有吸引力的选择。
目录
研究人员开发了什么？
噪声空间学习是一种适配预训练 VLA 机器人策略的方法，同时保持其动作生成器不变。VLA 策略接收摄像头图像和指令等观测信息，然后生成机器人动作。许多此类生成器会在生成动作时使用采样噪声。NSL 学习根据当前观测调整噪声，引导固定的生成器生成更符合任务要求的动作。
研究人员测试了三种训练“噪声策略网络”的方法：近端策略优化（PPO）、软演员-评论家（SAC）和优势加权回归（AWR）。这些都是成熟的强化学习方法，但在这里，它们更新的是噪声策略网络和辅助价值模型，而非 VLA 本身。这种分离很重要：适配过程无需通过反向传播更新或修改预训练生成器。
研究人员在模拟环境和真实机器人上评估了这一方法。真实机器人实验还探索了人工纠正，结果表明这能提升更复杂操作任务的表现。简言之，NSL 在现有策略周围增加了一个可训练的控制层，而不是替换策略已学得的动作生成机制。
主要结果是什么？
在模拟环境和真实机器人的测试中，NSL 的表现可与修改动作生成器或为其输出添加修正的适配方法相媲美。三种 NSL 优化方法各有所长。AWR 能快速利用成功经验，在机器人交互次数和训练更新次数都有限时表现出色。SAC 则能从更大规模的经验数据和更多优化中获益，在报告的模拟对比中取得最高的最终成功率。增加 rollout 次数也能提升 PPO 的表现。
模拟评估使用了八项 RoboTwin 任务，每项任务均在 Easy 和 Hard 两种设置下测试。所有方法均从同一个 SmolVLA 检查点出发，并在 27,500 条 RoboTwin 示范轨迹上进行微调。每种任务和难度组合都有各自固定的训练场景和留出的评估场景。
| 评估详情 | 报告值 |
|---|---|
| RoboTwin 任务数 | 8 |
| 每种任务和难度的训练场景数 | 50 |
| 每种任务和难度留出的评估场景数 | 50 |
| 用于微调起始检查点的示范轨迹数 | 27,500 |
| 起始检查点平均成功率，Easy | 31.50% |
| 起始检查点平均成功率，Hard | 32.75% |
这些基线数据描述的是起始检查点，而非 NSL 的最终成功率。报告中的比较重点在于性能如何随训练资源变化：AWR 是低预算条件下的有力选择，而 SAC 则能在数据和更新次数更多时获益最大。
噪声空间学习如何运作？
可以把预训练 VLA 看作一条处理流程：它接收上下文信息（例如摄像头画面和任务指令），再将采样噪声转换为动作。NSL 保持这一转换过程，也就是生成器，不作改变。它训练一个条件噪声策略网络，让该网络根据当前上下文选择合适的噪声分布。在实验中，该策略网络使用对角高斯分布，这是一种标准表示方式，可为各个独立噪声值学习均值和方差。
这一设计可以理解为改变固定通道的输入。其他适配方法会通过更新生成器来修改通道本身，或通过添加残差动作修正来修改通道输出。研究人员使用信息论分析这些选择：他们衡量将行为转向目标动作分布所需的信息代价。分析指出，在某些条件下，调整噪声能够以最低的行为信息代价达到目标分布。
噪声策略网络使用机器人或模拟环境中的经验，通过强化学习方法进行训练。PPO 利用近期 rollout 和估计优势进行学习，SAC 则使用评论家网络指导策略改进。AWR 通过加权回归从成功经验中学习，使表现更好的样本具有更大影响力。这些方法都不会通过反向传播更新 VLA 生成器。
优化方法的选择很重要，因为它会改变数据采集与计算之间的平衡。AWR 可以利用少量成功尝试迅速提升表现。当数据集和更新预算更充足时，SAC 的评论家指导更新更有发挥空间。PPO 同样能从采集更多 rollout 中获益，不过报告分析显示，仅增加更新次数带来的平均收益较有限。
这对机器人技术为何重要？
通过示范数据训练的机器人策略，适配成本可能很高。更新大型 VLA 可能需要大量算力、完善的训练基础设施，还需要采取措施避免破坏已有的有效技能。NSL 提供了一个更小的适配目标：保留预训练生成器不变，只学习如何向其输入与任务相关的噪声。当操作人员希望针对特定任务调整策略、又不想从头重建策略时，这是一种实用的设计选择。
研究结果也表明，“最佳”方法取决于可用资源。在机器人试验次数较少、更新预算有限的情况下，AWR 更为适用。如果能够投入更多交互数据和计算资源来提升最终表现，SAC 则更合适。这一区别有助于机器人团队根据安全采集机器人经验的实际成本来规划，而不是只把训练算力视为唯一限制因素。
对于评估系统的采购方而言，这项工作提出了一个值得关注的问题：机器人部署后能否轻松适配？适配需要什么数据或交互？团队在比较平台时，可以浏览在售二手机器人，同时评估这些系统是否支持安全试验、反馈和策略更新。NSL 并不能解决部署中的所有挑战，但它展示了一种重用能力出色的预训练动作模型、同时调整其行为的方法。
有哪些局限和待解问题？
NSL 只能生成冻结生成器能够表达的动作。其适配能力也受到噪声策略网络设计的限制，因此改变噪声并不能让不合适的基础策略完全胜任新行为。使用表达能力更强的噪声表示，或在学习噪声的同时谨慎选择性地更新生成器，都是潜在的后续方向。
真实机器人测试也暴露出一个重要的可靠性问题。在一项 SAC 诊断实验中，部分噪声输出接近其幅值上限，而且评论家网络对拟议动作的判断分歧，比对回放噪声样本的判断分歧更大。一次真实机器人尝试导致机器人意外接触桌面。因此，仅限制噪声幅度并不能保证解码后的动作安全。研究人员指出，当机器人数据稀缺时，以观测到的成功样本为依据进行更新是一种有用的应对方式。未来仍需针对新任务、不同机器人构型、技能保持和复杂接触开展更广泛的测试。
常见问题
噪声空间学习会重新训练机器人的 VLA 模型吗？ 不会。它会训练噪声策略网络，同时保持预训练动作生成器不变。
哪种训练方法效果最好？ 在采集数据和更新次数有限时，AWR 效果显著；预算更充足时，SAC 在模拟环境中的最终表现更高。
噪声空间学习在真实机器人上测试过吗？ 测试过。研究报告了真实机器人在线适配实验，其中包括人工纠正提升复杂操作任务表现的测试。
改变噪声能保证机器人动作安全吗？ 不能。报告中的真实机器人诊断结果显示，仅限制噪声并不能确保动作可靠，也无法防止意外接触。
结论
噪声空间学习通过学习向固定的预训练动作生成器输入何种噪声来适配机器人行为，而不是重新训练生成器本身。研究结果显示，这种方法在适配成本和性能之间取得了颇有前景的平衡；具体选择哪种优化方法，取决于可用的机器人经验和计算资源。
对于部署中的机器人学习而言，哪一点更重要：减少试验次数，还是提高最终成功率？