要修正毫米级残差，策略既要能够感知误差，也要能够通过动作将其消除。如果误差通道的缩放与容差不匹配，机械臂就会停在偏离目标的平衡位置。输入归一化会根据各通道在工作空间中的变化范围进行缩放，因此毫米级差异相对于关节、目标和关键点输入的范围微不足道。为此，PolicyIK 采用两个尺度表示位姿误差，并根据误差调整步长。
多尺度位姿反馈与动作缩放
借鉴基于关键点的位姿表示方法，三个不共线的局部偏移量 [源文未提供公式] 将位姿误差定义为位置差，以表征平移和方向误差。
为了让策略感知毫米级误差，误差还会在当前末端执行器坐标系中表示，并分别按粗尺度和细尺度进行截断。
奖励设计
奖励由引导接近目标的项和终止阶段的项组成。
跟踪项引导接近目标；进度和停留奖励鼓励到达并保持在容差范围内；代价项则用于规范运动。附录 B 列出了所有项及其权重。
仿真训练与部署
PolicyIK 使用 PPO 和广义优势估计在 4,096 个环境中训练。每段训练轨迹持续 12 seconds，每 4 seconds 重新采样一次目标，且不重置机械臂。因此，每段轨迹会串联三次尝试，后续尝试从上一次结束时机械臂所在的位置开始。附录 B 给出了网络架构和训练设置。
在单次尝试的严格判定中，失败时机械臂可能停在目标附近、仅有少量残差，也可能停得更远。如果允许继续尝试，则会按照固定流程处理这两种情况。若失败时距离目标在 1 cm 以内，则使用抵消残差的误差修正目标重试。其他失败最多可重试八次，首先下达一个临时目标，将机械臂移动到不同构型。每次尝试都以原始目标作为判定依据。
真实机器人训练
大角度旋转通常需要在关节空间中绕行，在此过程中位姿误差会先增大。标准评论家往往会给看起来接近的位姿赋予相似的价值，因此倾向于沿直线朝目标移动。遵循 LAN 的方法，评论家使用一个网络嵌入状态和动作，使用另一个网络嵌入目标，然后根据两者之差预测价值。已有研究表明，这种架构设计更能捕捉观测与目标之间的时间距离。
实验
实验评估了 PolicyIK 在仿真中的精度、各组件的作用，以及其作为低层控制器在模拟抓取放置任务和实体机械臂上的应用。
训练任务
每个训练回合包含一个目标，持续 150 个控制步。任务来自两个来源之一。
环境与奖励
方程 2 会将参考值截断在关节限位处。若关节需要在重力作用下将目标保持在限位附近，就需要一个超出目标构型的参考值，而在限位处硬截断会使其无法实现。在硬件上，只要测得的关节位置仍在限位以内，截断范围就会放宽 一个未指定的余量。测得的关节位置一旦达到限位，就不再接受任何向外的步进，因此关节本身不会超出限位。
常见问题
为什么 PolicyIK 要用两个尺度表示位姿误差？ 输入归一化可能会使毫米级差异相较于输入在工作空间中的变化范围显得微不足道。双尺度表示有助于策略感知并消除这些微小误差。
PolicyIK 如何在仿真中训练？ 它使用 PPO 和广义优势估计，在 4,096 个环境中训练。每段 12 seconds 的训练轨迹每 4 seconds 重新采样一次目标，且不重置机械臂。
重试流程如何处理失败的尝试？ 若失败时距离目标在 1 cm 以内，则使用抵消残差的误差修正目标重试。其他失败最多可重试八次，首先下达一个临时目标，将机械臂移动到不同构型。
为什么真实机器人评论家要分别嵌入状态—动作和目标？ 大角度旋转可能需要在关节空间中绕行，导致位姿误差起初增大。通过状态—动作嵌入与目标嵌入之差来预测价值，旨在更好地捕捉到达目标的时间距离。