EyeRobot 2.0 是一种机器人学习框架，引入了主动视觉注视（AVF）。它仅使用一台固定式立体相机的输入，即可完成插入吸管、给记号笔盖上笔帽、拉上袋子拉链、从工具箱中取出扳手等精准操作任务，也能完成多阶段任务，例如打开台式烤箱、拉出托盘、取出平底锅、推回托盘并关上烤箱门。
我们在七项实体任务和六项 MuJoCo 仿真任务上评估了 EyeRobot 2.0，收集数据并从头训练单任务策略。在超过 1,000 次实体试验中，它的表现比静态立体视觉基线高 40%；在仿真抓取与放置任务中则高出 20%，且在高精度任务上的提升更大。与广泛采用的先进自我中心视角加腕部相机配置相比，不使用腕部相机的 EyeRobot 2.0 在实体试验中的任务表现与之相当。在腕部相机严重受遮挡的任务中，它仍保持出色表现，而腕部相机基线则退化至静态立体视觉的表现水平。消融实验表明，以注视为中心的动作对 EyeRobot 2.0 的性能提升贡献显著，在仿真任务中的表现提升了 20%。注视区域化处理对精细任务的真实场景成功率有很大帮助，整体提升了 20%。
主动视觉注视下的操作
我们研究如何利用人类远程操作演示来学习视觉运动策略，以实现使用平行夹爪的双臂操作。给定一组描述任务的演示，目标是训练任务专用策略，使其能够复现演示行为，同时将位姿变化控制在有限范围内。
EyeRobot 2.0 采用自我中心视角设置，观测信息完全来自一台近似头戴式的立体相机。策略根据各任务专属的成功标准进行评估。
使用强化学习学习凝视模式
我们分两个阶段训练 AVF。首先，训练一个目标条件化注视策略，使其能够注视任何与任务相关的物体。接下来，训练一个分层目标选择策略，按顺序安排注视位置以优化任务表现。
第一阶段中，注视策略通过强化学习进行训练，并根据检测到的物体位置获得几何奖励，从而能够准确追踪提示指定的物体三维位置。第二阶段中，目标选择器在行为克隆与强化学习循环中通过强化学习训练：基于注视后的视图共同训练夹爪行为克隆策略，并奖励那些能够最大程度提高该行为克隆策略动作预测准确率的注视位置。这种分层架构无需人工指定，即可形成随任务变化的凝视行为。
实验
EyeRobot 2.0 使用 I2RT YAM 双臂机械臂实现，具有 14 个自由度，并配备平行夹爪。我们在双臂之间安装一台静态立体相机，位置在基座关节上方 35 cm，向下倾斜 45°，以完整观测桌面。每只相机的对角视场为 120°，提供的文本未说明分辨率。我们使用一台基于 GELLO 和 TRLC 改造的定制主操作臂远程操控机器人。
结果
我们评估 EyeRobot 2.0 相较于先进基线方法的表现。为构建严格受控的对比，我们自行收集全部数据，并使用完全相同的演示从头训练所有策略。这样可以避免商用模型未知预训练数据分布造成的信息不透明，降低计算需求，并将可行实验规模提升一个数量级。
真实场景评估
我们使用三个随机种子训练每种策略，并随机选取一个用于评估。对于每项任务，我们在 25 种场景配置下评估所有策略：这些配置通过在训练数据覆盖范围内摆放物体来选取，但不会与训练数据点完全相同。评估时，我们将实时相机画面与测试位置叠加显示，并手动对齐物体，使所有策略使用完全相同的测试位置。对于所有真实场景实体试验中的基线方法和消融设置，我们共评估了超过 1,000 次策略运行。
仿真评估
每种基线策略和 EyeRobot 2.0 策略均使用三个随机种子训练；我们报告其中的最高表现，以排除训练失败的随机种子。所有仿真评估均在相同的 100 种随机配置下进行，这些配置在训练期间未出现，但来自相同分布。每种策略均使用单任务数据从头训练，并采用相同的时间集成权重和推理代码执行。
执行动作前，凝视策略有一秒时间让视线稳定下来。每个阶段的成功与否通过程序判断，依据是人工指定的 MuJoCo 物理条件；每项任务的失败超时阈值则根据演示的平均长度设定。
消融实验
我们对多尺度图像金字塔进行消融，让凝视策略和夹爪策略都只使用每只相机的一幅周边视野图像。整体表现因此下降 20%，在需要细致图像理解的精确实体任务中，性能差距最大。
在仿真中，这项消融的表现与 EyeRobot 2.0 相同。这可能是因为仿真中的机器人执行几乎没有变化，而真实场景中的执行在不同试验间会有所差异，因此需要更多闭环视觉伺服。
局限性与未来工作
目前，EyeRobot 2.0 只训练任务专用的凝视策略和夹爪策略。一个值得探索的后续方向是研究如何调整该框架，使其能够保持多任务表现。采用目标选择器意味着凝视策略需要在足够大的语料上训练，才能支持通用提示；这可能需要采用不同的提示生成架构，例如视觉语言模型。
这项工作不控制头部或颈部运动；它提出的是在头部位置已经合适时，如何协调精细的眼部运动。最后，尽管物体级预训练足以应对许多操作任务，但目前还无法用于训练子物体级凝视，而这可能为操作带来额外益处。
结论
EyeRobot 2.0 是一种机器人学习框架，仅使用固定式立体相机即可实现精细的双臂操作。它通过主动视觉注视，将注意力引向与任务相关的特征。实验表明，与非主动式立体视觉基线相比，主动注视能更有效地利用立体视觉数据，在多种高精度实体任务中显著优于基线，并达到或超过腕部相机的表现。
对其任一组件进行消融都会导致性能下降，说明 EyeRobot 2.0 利用多分辨率图像输入、以注视为中心的动作和立体视觉信息，来实现精细的真实场景操作。这表明，使用主动视觉注视而非腕部相机来执行精细操作具有应用潜力。
部分重要超参数
为确保可复现性，所有训练代码都将公开；此处报告部分重要超参数。
凝视策略将动作空间离散化，并输出笛卡尔积形式的类别分布。方位角和仰角划分为八个极坐标方向，每个方向有两种幅度（10° 和 3°），并包含零动作。深度增量则划分为三种幅度（10 cm、5 cm 和 1 cm），并包含零动作。最终的笛卡尔积动作空间包含 119 个策略输出档位。采用离散动作空间有助于消解含糊动作中的平局情况，例如存在重复物体时。
测试分布
通过将当前物体位置与测试位置叠加显示并据此对齐，我们在人工摆放误差范围内，确保策略在完全相同的位置上接受评估。
干扰物体
对于干扰物体实验，我们采用与完整评估相同的流程，记录 25 组测试物体和干扰物体的位置，并让所有模型使用完全相同的位置。
真实任务各阶段的成功标准
所有阶段均允许重试三次，之后才将该阶段计为失败。如果机器人停止移动超过 10 秒，也计为失败。
- 拾取黄色物体：机器人必须抓住黄色胶带，并将其完全提离桌面，且在进入下一阶段前不能掉落。
- 交接：机器人必须成功将黄色胶带转移到右侧夹爪，且不能掉落。
- 放置：机器人必须将黄色胶带放在灰色胶带上方，且不能掉落或倾斜。放置位置必须稳定，重心需完全由灰色胶带卷支撑。
常见问题
什么是主动视觉注视？ 这是一种学习得到的方法，可引导机器人的视线转向与任务相关的物体和特征。
EyeRobot 2.0 使用什么相机配置？ 它只使用一台固定在机器人双臂之间的立体相机输入。
EyeRobot 2.0 与腕部相机系统相比表现如何？ 它在实体试验中的任务表现与腕部相机系统相当；在腕部相机严重受遮挡的任务中也能保持出色表现。
文中提到的主要局限性是什么？ 该框架目前训练的是任务专用策略，不控制头部或颈部运动，也尚无法训练子物体级凝视。