研究人员开发了EgoGuide，一种无需机器人的演示数据收集系统，利用增强现实引导人类演示者收集更丰富、更有用的训练数据。通过结合腕部和头部摄像头与实时覆盖评分，该系统帮助机器人用更少的演示学习操作任务，并对遮挡具有更强的鲁棒性。
目录
研究人员构建了什么
EgoGuide是一个完整的硬件和软件管道，用于收集机器人操作演示，无需在数据收集过程中使用物理机器人。硬件包括一个带有旋转传感器（测量手指开合宽度）的手持夹爪、一个安装在夹爪附近的鱼眼腕部摄像头，以及一个用于无线传输数据的树莓派控制器。演示者佩戴Meta Quest头显，捕获自我中心宽视角的工作空间视图，并提供增强现实界面。
该系统的核心创新在于一个在线数据覆盖分数，由三个互补信号计算得出：腕部图像（捕捉手-物体外观和接触）、腕部位姿（测量末端执行器位置的几何多样性）以及头部/自我中心图像（提供全局场景上下文、物体排列和腕部摄像头不可见的线索）。该分数在AR显示中呈现，提示演示者在录制片段前调整手部姿势、物体位置或视角。EgoGuide还支持部分演示——从任务中间开始录制——从而增加后期交互的覆盖范围。
收集后，静态过滤步骤会移除传感器故障或同步不佳的片段。生成的数据集用于训练标准的腕部视角扩散策略，以及一个门控自我中心残差策略（GERP），该策略在部署时利用头部摄像头视图作为补充线索。
关键结果
研究人员在四个真实世界操作任务上评估了EgoGuide：拾取立方体、辣椒分拣、大蒜储存和魔方旋转。所有策略均在Flexiv Rizon 4机器人上测试，每个任务进行20次试验，物体位置随机化。
在辣椒分拣任务中，EgoGuide仅使用标准无引导收集一半的演示次数，就达到了相当的成功率。对于所有长时程任务，使用相同数据集大小时，在线引导提高了成功率。GERP策略进一步提升了遮挡下的性能——例如，当腕部摄像头丢失目标物体时，门控机制增加了自我中心残差的贡献，维持了原本会下降的任务性能。
t-SNE可视化证实，EgoGuide数据集在腕部和自我中心视图的特征空间中始终具有更广泛的覆盖范围，适用于CLIP和DINOv2特征编码器。这表明在线引导有效鼓励演示者探索未充分表征的状态，而非重复相似轨迹。
工作原理
EgoGuide在收集过程中作为闭环系统运行。在每个片段之前，实时的腕部图像、腕部位姿（6D平移+四元数）和自我中心头部图像被发送到工作站。对于视觉特征，使用DINOv2（捕捉局部外观和几何）和CLIP（捕捉物体和场景级语义）将两个摄像头视图编码为特征向量。腕部位姿通过归一化的平移-旋转距离与先前记录的位姿记忆进行比较。
最近邻搜索识别出与数据集中任何现有样本的最小特征距离或位姿距离。覆盖分数是这些距离的复合：低相似性（即高距离）表示未充分探索的状态。该分数在AR头显中显示为彩色指示器——绿色表示覆盖良好，红色表示新颖——提示演示者改变配置。
在训练过程中，首先基于腕部图像和位姿训练基础扩散策略（流匹配），预测相对动作（平移、旋转、夹爪）。然后，训练一个单独的门控自我中心残差策略（GERP）。GERP以当前腕部视图和自我中心视图为输入，输出一个残差动作，仅当学习到的门控值超过阈值时，才将该残差动作加到基础策略的输出上。当腕部视图被遮挡或丢失目标时，门控值自然增加，从而允许自我中心视图进行补偿。
在部署时，腕部摄像头刚性地安装在机器人末端执行器上，以匹配收集时的视角。自我中心摄像头固定在工作空间中，约70厘米高度，提供稳定的全局视图。策略以10 Hz运行，在发送到机器人的逆运动学求解器之前施加动作限制。
为何这对机器人技术重要
从人类演示中学习的模仿学习是一种教授机器人操作技能的强大方法，但收集足够多样化和高质量的演示是一个主要瓶颈。EgoGuide通过为人类演示者提供关于数据覆盖的实时反馈，直接解决了这一问题，减少了所需的演示总数——在某些任务中减少了50%。这意味着更少的人力投入和更快的数据集迭代。
该系统还处理了仅腕部设置中常见的失败模式：遮挡。通过集成自我中心摄像头和门控残差策略，即使主要视图被阻挡，机器人也能推断动作，这对于杂乱的真实世界环境（如仓库拣选或装配线）至关重要。对于在操作任务中部署二手协作机器人的公司，EgoGuide提供了一种实用的方法，无需昂贵的手动编程即可扩展任务能力。
无机器人收集原则尤其有价值：演示可以在任何地方（办公室、家庭、仓库）收集，无需机器人存在，然后转移到任何兼容的机器人手臂，如Robot Overflow上找到的二手工业机器人。这使数据收集与硬件解耦，加速了部署。
局限性与开放问题
目前，EgoGuide在评估时假设自我中心摄像头位置固定；头显仅在收集时佩戴，而非由机器人佩戴。在部署时使用相同的视角但固定在空间中，可能无法泛化到机器人手臂以演示者无法体验的方式移动的场景。在移动机器人上使用移动的自我中心视图（例如，人形机器人头部安装）可能是一个自然的扩展。
在线引导分数依赖于特征空间中的最近邻搜索，随数据集大小线性扩展。对于非常大的数据集，可能需要近似最近邻方法或更紧凑的特征表示。此外，AR界面可能会分散经验丰富的用户的注意力或减慢其速度；系统尚未根据用户技能水平调整引导强度。
最后，当前评估涵盖四个桌面任务。在更动态、全身任务（例如，整臂操作、行走和抓取）上的性能尚未探索。
常见问题解答
EgoGuide需要哪些硬件？ 一个带有旋转传感器和鱼眼摄像头的手持夹爪、一个用于流媒体传输的树莓派、一个标准的VR/AR头显（例如Meta Quest），以及一个用于处理的工作站。
覆盖分数如何工作？ 它将当前的腕部图像、腕部位姿和自我中心图像与所有先前收集的样本进行比较，使用DINOv2、CLIP和位姿特征空间中的最近邻距离；距离越高表示状态越新颖。
EgoGuide是否适用于任何机器人？ 是的。由于演示是在没有机器人的情况下收集的，因此生成的策略可以部署在任何匹配末端执行器配置的机器人手臂上——只需将腕部摄像头安装在同一相对位姿即可。
哪些任务最受益于EgoGuide？ 长时程任务，具有许多可能的物体排列；容易发生遮挡的任务（例如，杂乱环境下的抓取）；以及任何减少人类演示时间重要的场景。
结论
EgoGuide通过给人类演示者在演示收集过程中提供实时AR反馈，解决了模仿学习中的数据多样性瓶颈。结合门控自我中心残差策略，它减少了所需的演示数量，并提高了对遮挡的鲁棒性——使实际机器人学习更接近生产部署。
AR引导的数据收集能否成为行业模仿学习的标准？