武汉大学的研究人员提出了PAC-ACT，这是一个强化学习后训练框架，用于微调预训练的动作块Transformer策略，显著提升任务成功率并确保力安全。通过将原始ACT架构改造为包含混合KL约束的Actor-Critic结构，该方法将轮廓追踪任务的成功率从60%提升至100%，并将峰值接触力降低超过98%——同时保留了ACT低延迟、块状动作生成的特性，使其适用于工业部署。
目录
研究内容
PAC-ACT是一个后训练框架，将强化学习应用于已预训练的动作块Transformer策略。原始ACT是一种行为克隆方法，通过单次前向传播生成固定长度的未来动作序列（动作块），从而实现平滑、低延迟的控制。但像所有模仿学习策略一样，它在分布外状态或产生不安全力时可能表现不佳。
PAC-ACT通过移除预训练ACT骨干中的CVAE潜在模块——简化架构以利于强化学习优化——并从剩余的编码器和解码器构建Actor-Critic网络来解决这一问题。混合KL散度约束使微调后的策略保持接近原始行为先验，防止灾难性遗忘。研究人员还重新定义了马尔可夫决策过程，以解决逐步强化学习与块级动作生成之间的不匹配，使强化学习智能体能够从稀疏或密集奖励中学习，而不破坏动作的时间结构。
实验聚焦于两个精密接触任务：金属触摸轮廓追踪（在不超限力的情况下追踪路径）和方形装配（将销钉插入方形孔）。这些任务对高成功率和严格的力安全都有要求，因此非常适合测试性能与安全之间的权衡。
关键结果
数据说明一切。在轮廓追踪任务中，预训练ACT的成功率为60%。经过PAC-ACT微调后，成功率跃升至100%。在方形装配任务中，成功率从51.2%提升至98.2%。相比之下，一个3B参数的VLA基础模型（π0.5）在轮廓追踪任务上仅达到79%，方形装配任务上为62.6%，同时消耗44.15 GB的GPU内存——这使得它在边缘部署中不切实际。
| 指标 | 预训练ACT | PAC-ACT（微调后） | 改进幅度 |
|---|---|---|---|
| 轮廓追踪成功率 | 60.0% | 100% | +66.7% |
| 方形装配成功率 | 51.2% | 98.2% | +91.8% |
| 轮廓追踪峰值力 | 8,452.5 N | 120.9 N | -98.6% |
| 平均完成时间 | 48.5秒 | 17.1秒 | -64.7% |
| 平均完成步数 | 485.4步 | 170.6步 | -64.9% |
除了成功率的提升，力安全的改进也极为显著。峰值力从8,452.5 N降至120.9 N，降幅超过98%。由于这种极端力仅出现在少数失败轨迹中，在标准行为克隆评估中很容易被忽略。PAC-ACT系统地消除了这些隐藏的危险。
工作原理
PAC-ACT基于LeRobot实现的ACT，并遵循三步流程：
- 架构转换。 通过移除CVAE潜在模块，修改预训练ACT模型（编码器 + CVAE + 解码器）。编码器和解码器被重新用作Actor网络。添加一个独立的Critic（价值函数）网络，与Actor共享相同的编码器，但拥有自己的MLP头部。这种设计保留了原始策略的快速块状生成能力，同时支持强化学习训练。
- MDP重新定义。 标准强化学习将每个时间步视为一个状态-动作对，但ACT输出未来的动作块（例如16步）。PAC-ACT重新定义MDP，使强化学习智能体在每个时间步选择执行哪个动作块。这解决了结构不匹配问题：策略仍然生成动作块，但强化学习奖励在整个块上计算，而Critic评估执行块之前处于给定状态的价值。
- 混合KL约束。 为防止微调策略偏离预训练行为过远，应用了两个KL散度约束。第一个约束使Actor保持接近原始冻结策略，第二个约束正则化潜在表示。这些约束在奖励稀疏时至关重要——它们确保策略不会崩溃为不稳定或危险的动作。
训练环境使用MuJoCo，配备两个RGB摄像头（前视和腕部视角，512×512分辨率）以及关节角度编码。力/扭矩读数仅用于奖励计算和安全评估，不作为策略输入。控制频率为10 Hz，每个强化学习情节最多运行512步（约51秒）。在验证阶段，最大持续时间为600步，成功完成后提前终止。
对机器人技术的重要性
PAC-ACT展示了一条实用路径：无需从头开始，即可使用强化学习定制预训练机器人策略。对于工业应用——其中单个任务可能需要数千次示范——使用中等数量的强化学习情节微调现有策略的能力，可以节省数周的数据收集和训练时间。
力安全的改进对需要在人类或精密部件附近工作的制造和装配机器人尤其重要。峰值力降低98.6%意味着更少的部件损坏、更低的维护成本以及更安全的人机协作。该方法还保留了ACT的低延迟推理能力（80M参数模型在单张RTX 2080 Ti上约0.01秒），使其适用于边缘硬件上的实时部署。
对于仓库和物流应用，机器人执行重复但多变的任务（如拣选或配套），这种方法可以针对新产品几何形状进行快速重新训练。类似地，依赖模仿学习的人形机器人和二手协作机器人可以通过基于强化学习的微调来提高在非结构化环境中的鲁棒性。
局限性与开放问题
当前的实验完全在模拟环境中进行。微调策略的仿真到现实迁移尚未验证，因此实际性能可能因传感器噪声、校准误差或动力学不匹配而有所不同。鲁棒性评估也有限：仅涵盖物体初始位置扰动和多轨迹泛化，未涉及光照变化等视觉改变或动态参数偏移等物理扰动。
移除CVAE模块简化了强化学习优化，但可能限制策略表示高度多模态动作分布的能力——这是原始ACT的已知优势。未来的工作可以探索正则化的CVAE集成，在保持多模态性的同时维持训练稳定性。此外，该框架仍然需要任务特定的奖励设计，这是一个工程负担。更自动化的奖励规范方法将使这种方法更容易被实践者采用。
常见问题
什么是动作块Transformer？ 动作块Transformer是一种行为克隆方法，通过单次前向传播生成固定长度的未来动作序列，从而从演示数据中实现平滑、低延迟的机器人控制。
PAC-ACT与其他强化学习微调方法有何不同？ PAC-ACT专门针对预训练的块状策略，重新定义MDP以将逐步强化学习与块级动作生成对齐，并使用混合KL约束来保留原始行为先验。
评估PAC-ACT使用了哪些任务？ 该方法在两个MuJoCo模拟任务上进行了测试：金属触摸轮廓追踪（带力限制的路径追踪）和方形装配（销钉插入孔）。
PAC-ACT是否需要为每个任务设计奖励函数？ 是的，当前框架依赖于任务特定的密集奖励以获得最佳性能，但结合行为先验约束时，稀疏奖励仍然可以工作。
结论
PAC-ACT表明，一个相对轻量级的强化学习后训练步骤可以将一个尚可的模仿学习策略转变为卓越的策略，成功率翻倍，并几乎消除危险的力量尖峰。对于可靠性和安全性都至关重要的工业机器人领域，这种方法提供了一种实用的方式，无需从头重新训练即可升级现有的基于ACT的部署。
对预训练动作块策略的强化学习微调是否会成为每个机器人专家部署流程中的标准步骤，还是奖励设计负担会限制其采纳？