人类能够抓取数百种新物体，在各种复杂场景中动作多样，但现有的机器人抓取系统仅限于在桌面箱子或稀疏杂乱环境中执行少量预设行为。要扩展机器人抓取能力，需要一个能够理解人类跨物体、环境和任务的全方位抓取多样性的模型。我们提出HUG，这是一个流匹配模型，基于来自第一人称立体视频的100万个人类抓取动作进行训练，能够从单张RGB-D图像中为任何场景中的任何物体生成多样化、类人的抓取动作。
数据集与采集
为训练HUG，我们构建了1M-HUGs数据集，包含来自70名参与者在各种室内环境中超过400小时第一人称视频中记录的100万个真实人类抓取动作。抓取动作通过视觉语言模型自动标注，识别并分割被抓取物体，然后通过网页标注界面进行自动帧选择和质量控制。
方法
HUG是一个流匹配模型，基于真实世界人类抓取数据进行训练，能够从立体相机获取的单张RGB-D图像中，为任何用户指定的物体生成多样化的自然抓取动作。该模型处理场景的点云，输出表示预测抓取动作的MANO手部姿态。
训练
在训练过程中，权重将几何损失集中在接近清晰的步骤上，此时预测的抓取最有意义。这种方法确保模型学习生成精确、物理上合理的抓取动作。
实验
我们引入HUG-Bench进行标准化评估，然后在仿真和真实世界中评估HUG。
真实世界评估设计
在桌面实验中将物体放置在单一位置，不同试验仅微小改变位置和旋转。桌面实验中避免杂乱环境，以确保可重复性并与基线方法公平比较。在各种杂乱环境中的真实世界实验展示了模型对真实世界杂乱的鲁棒性。
重定向到机器人手
HUG预测MANO抓取动作，在部署时映射到目标机器人手。我们通过AnyTeleop重定向到Ability手，并通过WUJI重定向到WUJI手。
定性观察
最容易抓取的物体是圆形且凸起的，大小适合手部（如梨、菠萝、沙包），这些物体提供了多种稳定的包裹式抓取。最难抓取的物体是手部无法完全包裹的（如足球、湿巾盒），或形状不规则、关节复杂的物体（如指甲钳、耳机），难以进行开环抓取。
HUG对光照变化、物体旋转和视角变化具有鲁棒性，可在彩色和灰度立体相机上运行。在反光表面（立体深度噪声较大）上也观察到成功抓取。
与强抓取器策略的比较表明，灵巧手的好处依赖于物体类型。对于大型或不规则物体，对掌抓取器找不到稳定的对立面，容易滑落，而多指包裹式抓取能够包裹物体。对于重心偏移的重物，多指抓取分布接触点并抵抗重力扭矩。对于小型、薄型或可捏取物体，抓取器仍具竞争力。
自动标注
前三个阶段无需人工输入：识别被抓取物体、在录制中分割物体、选择抓取帧。通过视觉语言模型将“抓取前”帧与四个“抓取后”帧进行比较，定位被抓取物体，返回覆盖物体所有部分的点。第二次VLM调用验证每个点位于被抓取物体上。每条记录的成本约为0.003美元。
质量控制
每条记录在网页标注应用中进行审核，审核员可以重新分割掩码、重新选择抓取帧，并批准记录或标记为无稳定抓取。
点云裁剪半径
在编码前，反投影的点云被裁剪为以3D查询点为中心、固定半径的球体。
相机泛化
相机内参仅通过几何操作进入HUG：将像素与深度反投影为度量点。
局限性
尽管HUG达到了最先进的性能，但它继承了训练数据的局限性。模型可能难以处理极其罕见的物体、非常小或非常大的物体，或需要精细手指灵巧性且数据集中代表性不足的抓取动作。未来工作可以探索整合触觉反馈和在机器人数据上进行微调。
常见问题
HUG的关键创新是什么？ HUG是一个流匹配模型，基于来自第一人称视频的100万个真实人类抓取动作进行训练，能够从单张RGB-D图像中为任何场景中的任何物体生成多样化、类人的抓取动作。
训练数据是如何收集的？ 1M-HUGs数据集来自70名参与者在各种室内环境中超过400小时的第一人称立体视频，通过视觉语言模型自动标注，并通过网页标注界面进行质量控制。
HUG与基于抓取器的抓取相比如何？ 对于重心偏置的大型、不规则或重型物体，多指抓取通过分布接触点和抵抗扭矩显著优于抓取器，而抓取器在小型、薄型或可捏取物体上仍具竞争力。
HUG的计算要求是什么？ 自动标注流程使用视觉语言模型每条记录的成本约为0.003美元，训练后的模型可在标准GPU硬件上高效运行，实现实时抓取生成。