一种冻结的强化学习控制器帮助灵巧机器人手以更少的演示学习新的视觉操作任务：它保留已学会的动作技能，并教会图像如何提示调用这些技能。在仿真中，该方法适用于三项任务，将单臂控制器扩展为双臂协调控制，并保留了有用的操作能力，例如应对物体质量变化的鲁棒性。
目录
研究人员构建了什么？
研究人员构建了一种方法，让机器人在需要根据相机图像行动时，能够复用通过强化学习（RL）学到的操作技能。强化学习是一种训练方法，控制器通过反复交互不断改进。研究的起点是在仿真中训练的 RL 教师策略，它学会将物体对齐到目标位姿。训练期间，教师可以使用特权信息：例如物体状态和目标位姿等细节，而这些信息在实际部署时无法通过相机直接获取。
团队没有从头训练新的视觉控制器，而是将教师策略的行为蒸馏到一个流匹配动作解码器中。该解码器负责将输入转化为机器人动作。它接收机器人近期的关节和手部测量值（称为本体感知），以及代表任务信息的紧凑潜在上下文。
对于新的视觉任务，解码器保持冻结，由一个学习得到的视觉接口将图像映射到该上下文中。该接口使用包含图像、机器人测量值和动作的演示进行训练。它不需要教师的特权状态标签、预先计算的潜在目标，也不需要来自原始训练任务的配对演示。
同一架构也支持双臂控制：复用共享的冻结解码器，由视觉接口为每只手臂提供协调后的上下文。实验使用配备 SHARPA 灵巧手的 KUKA iiwa 机械臂，并在 MuJoCo Warp 仿真器中进行。
主要结果是什么？
在三项仿真灵巧操作任务中，该方法利用预训练的 RL 行为，在演示有限的情况下提升了视觉适配效果。论文报告称，在两种方法都仅使用动作监督进行训练时，潜在迁移的表现优于通过预训练状态编码器进行的显式迁移，训练也更加稳定。论文提供的文本没有报告相应的数值成功率，因此无法量化优势幅度。
适配测试使用了 500、1,000 和 2,000 条演示。在演示数量最少时，对图像编码器进行保守调整提升了严格位姿对齐的成功率；更大幅度的更新则降低了平均成功率，并增加了不同随机种子之间的波动。使用 1,000 和 2,000 条演示时，结果对这一设置不太敏感。该研究报告的评估至少使用了三个随机种子。
完成视觉适配后，控制器对于视觉演示中未涵盖的物体质量变化也表现出鲁棒性。与从头训练的策略相比，其内部表征让接触力信息更容易通过线性方式读取。这些发现与先验保留了有用控制知识的解释相符，但并不能确切证明这些知识如何带来性能提升。
潜在强化学习先验如何工作？
该方法将控制行为与负责判断何时调用这些行为的视觉系统分开。首先，RL 教师策略在仿真中、经过程序化变化的条件下练习物体位姿对齐。由于它可以直接访问物体状态和目标状态，因此能够先学会操作行为，而不必先解决解读相机图像这一更难的问题。
接下来，教师策略的运行轨迹被蒸馏到流匹配动作解码器中。流匹配是一种训练模型生成输出的方法：通过学习从简单的起始表征通向目标输出的路径来生成结果。在这里，解码器以本体感知历史和潜在任务上下文为条件，学习生成机器人动作。实际而言，上下文向控制器提供机器人应该做什么的信息，而本体感知路径则告诉它机器人当前如何运动、处于什么位置。
在下游视觉适配中，图像经过可训练的视觉接口（包括图像编码器和视觉 Q-Former），生成解码器所需的潜在上下文。视觉接口通过演示动作进行学习：如果它提供的上下文能让冻结的解码器复现演示行为，就会得到优化。关键在于，训练不需要能够揭示特权物体状态或目标状态的图像标签。
在核心迁移过程中，解码器权重保持不变，从而保留大规模 RL 学到的动作生成行为。适配研究也测试了修改解码器和图像编码器权重的做法。结果支持冻结解码器并仅保守地更新视觉编码器，尤其是在需要精确对齐且演示稀缺时。
用于双臂操作时，系统复用同一个解码器，而不是为每只手臂分别训练动作模型。它学习与每只手臂的本体感知历史相对应的视觉上下文，使接口能够学习协调动作，同时复用已有控制先验。
这对机器人技术有何意义？
当仿真中学到的机器人技能依赖于部署时无法直接获取的状态信息，原有控制器就很难复用。这项工作提供了一条实用途径：保留控制器生成动作的能力，再训练视觉前端，让它能根据演示调用这些能力。这种分工有望减少让新的视觉行为投入使用所需的特定任务演示数据。
这种方法尤其适用于操作任务，因为接触、物体几何形状和精确定位都会影响正确动作。复用在多种仿真条件下训练的解码器，可以让视觉系统预先掌握物体操作的力学规律，而不是要求它仅凭少量演示同时学习视觉理解和灵巧控制。研究报告的质量鲁棒性和接触力可读取性是令人鼓舞的迹象，但并不能保证真实世界中的可靠表现。
共享解码器的结果也显示了一种可能途径：在接口层学习协调动作，同时跨手臂复用已学控制能力。这对需要双手操作物体的系统可能很重要，但该研究并未证明这种迁移适用于不同的机器人设计。比较操作平台的团队也可以浏览待售二手机器人；不过，这项研究评估的是仿真系统，而非商用机器人。
有哪些局限和待解问题？
研究结果关注的是下游视觉演示效率，而不是总体数据或计算效率。构建先验仍需要能力强的特权教师策略和大量仿真经验。冻结的控制器也会保留教师策略的失效模式，并可能限制需要其从未学过的控制行为的任务。
所有实验都使用同一套 KUKA iiwa 和 SHARPA 灵巧手机械臂系统，双臂实验复用了单臂解码器。评估完全在仿真中进行，包括视觉演示的采集，因此其在实体机器人上的表现尚未经过测试。该方法对于相机位置、照明、传感器噪声或评估范围之外的物体属性变化能否应对，也尚不明确。
最后，质量鲁棒性以及学习表征中更容易读取的力信息支持了这样一种观点：有用的控制知识在迁移后得以保留，但这些结果尚未揭示效率提升的因果机制。还需要进一步测试，才能确定这些特性在真实任务和新型机器人形态上能否可靠迁移。
常见问题
视觉系统需要物体状态标签吗？ 不需要。视觉接口使用图像、本体感知和演示动作进行训练，无需特权物体状态或目标状态。
每个新任务都需要重新训练动作解码器吗？ 核心方法会冻结解码器，并调整视觉接口，让它提供解码器所需的潜在上下文。
这项研究展示了真实机器人上的表现吗？ 没有。实验和演示采集都在仿真中进行。
同一个解码器能控制两只手臂吗？ 研究人员通过学习协调后的视觉上下文，将共享的单臂解码器适配用于双臂操作，但测试仅使用了相同的臂—手机械臂系统。
结论
潜在 RL 先验将可复用的操作控制器与将其应用于新任务所需的视觉接口分离开来。仿真结果展现了一种有前景的方式，有望让灵巧技能更节省演示数据；而真实机器人验证和更广泛的硬件迁移仍有待开展。
哪种操作技能最能受益于在仿真中训练、可重复使用的控制器？