机器人树木修剪任务的仿真
为了支持视觉运动策略学习，我们构建了一个机器人树木修剪仿真器，用于模拟果园场景的几何结构。由于我们的策略依赖光流而非图像纹理，因此无需追求照片级真实感。我们的目标是在保持与现代果园训练系统结构相似的同时，生成多样化的修剪场景，使剪切点位置、枝条朝向和光照条件各不相同。
视觉运动修剪的学习设置
要实现稳健的现实世界部署，必须让策略接触到它在真实环境中可能遇到的各种条件。我们首先定义任务空间，并引入一种采样方法，以生成足够多样的剪切点。随后，我们规定用于学习和部署的状态与动作表示。最后，利用能够访问完整状态信息的仿真环境，介绍自动收集成功轨迹的方法。
生成多样化训练回合
一个回合由一个仿真场景构成，其中的剪切点采样于某条三级枝条上。每个新回合开始时，光照、机器人和相机位置都会按照第 3 节所述进行随机化。
任务空间
我们为 UR5e 机器人定义了一个可能的可达区域：该区域包含距离机器人基座 75 cm 至 105 cm 的所有点，但排除位于机器人基座垂直平面后方的点。该区域是根据以下因素启发式确定的：机器人带修枝剪时的最大工作半径（125 cm）、朝外枝条的最大长度（40 cm），以及用于避障的树体可见性。距离小于 30 cm 时，观测效果较差。
当机器人位于树前方时，该区域使其能够触及最多四根棚架铁丝上的修剪点。
观测空间与动作空间
虽然仿真器提供树木几何结构和位姿的完整信息，但策略的观测空间仅限于：
- 指定剪切点的目标。
- 光流图像。
- 机器人本体感知信息。
下面给出状态空间的概览。
本体感知
我们将六自由度位姿、末端执行器当前速度以及机器人关节角纳入状态空间。末端执行器的位姿由位置（即笛卡尔位置坐标）和六维参数化姿态定义。关节角则用其正弦值和余弦值表示。由此得到一个 27 维的本体感知状态。
动作
策略输出末端执行器坐标系下的线速度和角速度。随后使用阻尼最小二乘控制器计算关节速度，并将其施加 0.5 秒，对应 2 Hz 的控制频率。
策略架构
我们采用基于 LSTM 的 actor–critic 架构，并加入一个能够访问仅在训练阶段可用特征的特权 critic，以及一个用于视觉特征学习的编码器。
特权 Critic
Critic 与 actor 共享同一个图像编码器，并采用相同的整体架构，但存在以下两点区别：
- 它输出一个标量。
- 它额外接收两个标量特征，分别对应末端执行器与待修剪枝条之间的指向余弦相似度和垂直余弦相似度。
这些输入依赖树木几何结构和位姿等特权信息，策略无法获取它们；它们仅在训练期间使用。
生成合成数据
手动收集数千条成功修剪轨迹所需的人力成本极高，难以承受。为此，我们利用能够访问完美状态信息的仿真环境，自动完成数据生成。
具体而言，我们使用 RRT-Connect——一种基于采样的运动规划方法，用于生成满足修剪成功条件的路径点。随后对这些路径点进行后处理，使轨迹更加平滑，并将其转换为由观测、动作、奖励和下一观测组成的转移元组，从而与强化学习设置兼容。
生成目标构型
根据指向方向，以及到达、指向和垂直度要求中的容差，每个修剪点都可能对应多个满足成功条件的末端执行器位姿。其中一些位姿可以通过无碰撞轨迹到达，另一些则会因与周围果园杂物发生碰撞而不可行。为了找出可行解，我们生成一组满足修剪条件的末端执行器构型，并使用 RRT-Connect 计算到这些位姿的无碰撞轨迹。
为采样有效的末端执行器位姿，我们从理想位姿开始：末端执行器与待修剪枝条完全对齐，与初始末端执行器坐标系的方向差异最小，并满足成功条件。
接着，我们围绕指向向量和垂直向量对该位姿进行随机扰动。扰动范围受任务定义的阈值约束，以确保所有采样目标位姿都处于成功修剪所允许的范围内。最后，通过逆运动学将每个位姿转换为机器人构型，以便传递给 RRT-Connect。
生成轨迹
对于每个修剪点，我们通过不断采样目标构型运行 RRT-Connect，直到找到有效轨迹或尝试次数达到 100 次；若达到上限仍未成功，则丢弃该修剪点。直接在枝条表面采样目标位姿通常会因过于接近碰撞区域而导致规划器失败。为缓解这一问题，我们沿枝条法线方向将目标位姿偏移 5 cm，同时保持末端执行器朝向枝条。找到有效路径后，再将最终目标位姿作为最后一个构型追加到路径末端。
RRT-Connect 找到的是由离散机器人构型路径点组成的可行路径。这些路径并不平滑，通常需要后处理。我们采用 shortcutting（一种路径捷径化后处理技术）：沿路径随机采样点，并尝试直接连接这些点，以形成更短、更平滑且仍然可行的路径。
随后，每隔 5 cm 对平滑后的路径进行子采样，生成密集的路径点序列。再以 2 Hz 的控制频率计算末端执行器速度指令，将这些路径点转换为轨迹。对于每一对相邻路径点，我们计算一个速度向量并进行缩放，确保末端执行器能在固定控制时间间隔内到达下一个点。
构建数据集
为了生成由观测、动作、奖励和下一观测组成的转移元组，我们在仿真中重放速度动作轨迹，并记录每个时间步的转移。只有最终到达成功构型的轨迹会被保留。
按照任务空间部分所述，我们在整个工作空间内均匀采样修剪点，以构建轨迹级数据集。总计在 1,000 棵不同的树上生成 5,000 个唯一修剪点，并分别针对 UFO 和 V-Trellis 应用合成数据生成流程。
过滤掉失败尝试后，最终数据集包含：
| 架构 | 成功修剪轨迹数 |
|---|---|
| V-Trellis | 4,282 |
| UFO | 4,424 |
学习视觉运动修剪策略
近端策略优化（PPO）已被成功用于训练视觉运动修剪策略。近期研究表明，将强化学习与成功轨迹离线数据集结合，相比单独使用强化学习能够提升性能。受此启发，我们利用合成生成的成功轨迹数据集增强学习过程。
合成数据生成流程使用仿真环境中可获得的完整环境状态，而学习得到的策略只能在部分可观测条件下运行。因此，直接模仿这些轨迹可能导致次优动作；例如，在相关枝条尚未进入视野前，策略就可能开始旋转末端执行器。
直接对该数据集应用行为克隆会复现此类次优行为。因此，我们的目标是开发一种算法，在高效摆脱离线数据中不良动作的同时，将离线轨迹与在线轨迹衔接起来。
PPO 加行为克隆等方法可以通过在在线更新中加入行为克隆损失，部分缓解这一问题，但它们不会明确拒绝次优动作。相互竞争的损失可能降低性能；正如混合强化学习算法通常优于仅添加行为克隆损失的基线方法这一现象所显示的那样。
我们提出一种混合近端策略优化方法，将逐决策重要性采样纳入 PPO 框架，以修正离策略数据的影响。这样便可以同时利用仿真 rollout 和离线数据。
这种按优势加权的形式使 Critic 能够重新评估离线动作的权重。通过为次优动作分配更低的优势估计值，策略便不会偏向离线数据集中的这些动作。
我们在修剪任务上将该算法与仅在线 PPO 基线、仅离线行为克隆基线，以及简单的 PPO 加行为克隆基线进行比较。
问题定义
学习得到的策略是由神经网络参数化的压缩高斯策略。其均值以策略观测为条件进行预测，输出随后经过压缩函数处理。标准差与状态无关，是一个可学习参数。
部署
在实验中，我们使用基于 PyTreesROS 构建的行为树架构，实现高层决策和任务排序。为便于田间测试，用户交互和手动接管功能通过集成到行为树中的 PlayStation 控制器实现。
田间设置
在实体评估中，目标修剪点被限制在商业 UFO 和 V-Trellis 果园最下方的三根棚架铁丝上。实验室设置仅使用最下方的两根铁丝。
实验设置
我们设计实验评估，以回答四个核心问题。
算法验证
在仿真的 V-Trellis 结构上，与行为克隆、标准 PPO 以及 PPO 加行为克隆基线相比，所提出的 Hybrid-PPO 表现如何？
仿真中跨架构的策略评估
在全面且多样的仿真试验中，学习得到的策略在 V-Trellis 和 Upright Fruiting Offshoots（UFO）两种冠层架构上的总体表现如何？
现实世界仿真到现实迁移
训练得到的策略能否在实际作业条件下，以零样本方式迁移到实体商业 V-Trellis 果园和实验性 UFO 果园？
与 RRT-Connect 基线比较
在实验室环境的 V-Trellis 实体树上，强化学习策略在真实硬件上的表现与经典 RRT-Connect 运动规划基线相比如何？
仿真中跨架构的策略评估
为了评估训练策略在工作空间内的性能，我们针对 V-Trellis 和 UFO 架构，在位置和朝向上均匀采样修剪点，开展全面的仿真试验。
我们还运行了一个配备完美环境信息和充足计算预算的 oracle RRT-Connect 规划器，以建立成功率上限。这些全面的仿真实验使我们能够对所有可能的枝条构型进行穷尽评估；若在实体田间试验中进行同样评估，不仅组织成本高昂，也会给硬件带来风险。
在现实世界中获取精确、无噪声的三维网格极其困难，因此这种设置并不符合实际田间应用。然而，这项严格评估仍然建立了经典规划器在感知完美条件下的绝对最佳性能上限。
强化学习策略
我们通过执行网络预测的最大可能动作来运行学习得到的强化学习策略。对于每个剪切点，与训练过程类似，策略以 2 Hz 运行 100 个仿真步，或直到达到终止条件。
现实世界仿真到现实迁移
为了验证学习策略的仿真到现实迁移能力，我们在两种设置下，对系统进行共计文中报告数量的真实世界试验评估：
- 在搭建的 V-Trellis 装置上进行的文中报告数量的受控实验室试验。
- 在商业 V-Trellis 苹果园和实验性 UFO 樱桃园中、实际作业条件下进行的文中报告数量的户外田间试验。
实验所在的果园位于美国华盛顿州普罗瑟。户外田间试验涵盖了多种环境和天气条件，包括阴天、雾天、小雨、局部多云和明亮的直射阳光。
由于 V-Trellis 和 UFO 架构的几何结构不同，我们分别为两者训练并部署策略。联合训练能否利用不同冠层类型之间共享的结构表征，仍有待研究。
结果
本节介绍针对四个研究问题得到的结果。
算法验证
与行为克隆、标准 PPO 以及 PPO 加行为克隆基线相比，Hybrid-PPO 获得了更高的平均成功率。
仿真中跨架构的策略评估
在全面仿真试验中，该策略在 V-Trellis 架构上达到文中报告的成功率，在 UFO 架构上达到文中报告的成功率，优于此前的基准性能。
现实世界仿真到现实迁移
学习得到的策略在多变的户外环境条件下，成功以零样本方式完成了文中报告数量的田间试验和文中报告数量的实验室试验。
与 RRT-Connect 基线比较
在实体硬件上，强化学习控制器的总体成功率高于使用重建点云的经典 RRT-Connect 规划器。
下面的小节将详细介绍这些结果。
算法验证
在三个随机种子下绘制的各方法训练奖励曲线显示，标准 PPO 在不同随机种子之间呈现出明显更高的方差。尽管各方法的奖励分布存在重叠，Hybrid-PPO 和 PPO 加行为克隆始终获得更高的平均奖励。
由于原始奖励大小并不总是与任务执行效果直接相关——这通常是奖励塑形不匹配或潜在奖励破解造成的——因此我们将主要评估建立在任务成功率之上。任务成功率能够直接衡量实体修剪是否成功。
常见问题
修剪任务使用什么机器人？ 该任务使用配备修枝剪的 UR5e 机器人。
策略能观测到什么？ 策略观测剪切点目标、光流图像和机器人本体感知信息。
合成训练数据如何生成？ RRT-Connect 根据采样得到的末端执行器构型生成无碰撞轨迹，再在仿真中重放这些轨迹，以创建转移元组。
为什么使用特权 Critic？ 特权 Critic 使用仅在训练期间可获得的树木几何特征，对离线动作重新赋权，同时使部署后的策略保持部分可观测性。