一种名为 GROW² 的新方法使机器人能够从一堆杂乱日常物品中挑选出合适的工具，并精确确定抓取和施力的位置——所有这些都不需要针对特定工具的预先训练。通过结合视觉-语言理解和3D重建，该系统在模拟和真实世界测试中均取得了显著优于现有方法的工具使用成功率。
目录
研究人员构建了什么
GROW² 代表“机器人工具使用的物体与位置定位”。它解决了一个人类能轻松完成但机器人觉得异常困难的问题：在杂乱场景中发现临时工具，并知道具体应用位置。例如，如果没有刀，机器人应该能抓起一个盘子，用其边缘切蛋糕。
该系统分三个阶段工作。首先，视觉-语言模型（VLM）扫描场景，从存在的物体中选出最佳候选工具。其次，同一VLM将该工具分解为命名部件（例如“边缘”、“把手”），并选择适合任务的部件。第三，GROW² 通过分割和3D重建的结合，将该部件名称映射到精确的3D坐标，生成机器人可以抓取和应用的清晰功能区域。
关键的是，GROW² 不假设工具已被识别，也不依赖于预定义功能的固定工具库。它通过利用基础模型进行语义理解和几何推理，处理开放类别物体——即系统从未见过的物品。
关键成果
GROW² 在两个标准功能基准和一个专为工具选择设计的新基准上进行了评估。在 AGD20K 2D 功能定位数据集上，GROW² 实现了 58.2% 的平均交并比，优于之前的最佳方法 AffordanceLLM（53.1%）。在 PIAD 3D 点云基准上，它达到了 68.7% 的平均交并比，再次超越了像 GEAL（63.1%）这样的最新方法。
研究人员还创建了一个新的模拟基准，包含5种任务类型、85个独特物体资产和100个场景。GROW² 在这些试验中成功了 72%，而最佳基线 MOKA 为45%。在 Franka 机械臂上的真实世界测试中，50次试验中 GROW² 达到了 64% 的成功率，而基线方法在12%到36%之间。
| 基准 | 指标 | GROW² | 最佳基线 |
|---|---|---|---|
| AGD20K（2D功能） | mIoU | 58.2% | 53.1%（AffordanceLLM） |
| PIAD（3D点云） | mIoU | 68.7% | 63.1%（GEAL） |
| 模拟（5任务，85物体） | 任务成功率 | 72% | 45%（MOKA） |
| 真实世界（50次试验） | 任务成功率 | 64% | 36%（最佳基线） |
工作原理
GROW² 是一个模块化管道，结合了大型视觉-语言模型（VLM）、3D重建工具（SAM3D）和部件分割工具（SAM3）。过程从一张杂乱场景的RGB-D图像开始。VLM——这里使用了GPT的最新版本——首先列举所有可见物体，并为所述任务（如“切蛋糕”）选出最适合作为工具的物体。这一步解决了“哪个”物体的问题。
接下来，VLM将选中的工具分解为组成部分，并选择适合动作的区域。例如，盘子可能被分解为“中心”、“边缘”和“边沿”；对于切割，选择“边沿”。然后，这个部件名称被用来提示SAM3，一种2D分割模型，在物体的多个渲染视图中生成该部件的像素级掩膜。生成的掩膜通过SAM3D重建的网格和注册的点云反投影到3D中。
为了生成最终的功能图，GROW² 将分割的部件掩膜投影到3D网格上，为每个顶点计算一个密集得分，指示该顶点的“部件相似度”。得分最高的区域成为机器人的抓取或接触区域。目标物体（例如蛋糕）以类似方式处理，以确定工具应接触的位置。
整个管道在 NVIDIA H100 GPU 上每个场景运行约16.6秒，并通过并行重建工具和目标物体来减少延迟。
为何对机器人技术至关重要
从日常物品中即兴制作工具的能力是稳健自主操作的核心。在家庭、仓库或灾难区域，机器人很少遇到完美排列且配备专用任务工具的环境。GROW² 使机器人离人类的足智多谋更近一步。
对于仓库操作，机器人可以使用附近盒子的边缘作为刮刀，而不是专用工具，从而减少停机时间。在家庭服务机器人领域，机器人可以用盘子切食物或用沉重杯子钉钉子——根据可用物品灵活适应。
模块化设计还意味着随着更好的VLM和分割模型的出现，GROW² 可以更新，而无需重新训练整个系统。这使其成为未来商业机器人的实用基础。探索 二手协作机器人 可配备类似的零样本工具使用能力，或浏览 仓库机器人 可受益于此种适应性。
局限性与开放问题
GROW² 对于动态任务来说还不够快：16.6秒的管道延迟使得反应性操作不可能。失败集中在VLM阶段——有时模型选择了错误的工具或部件。扩展到有许多物体的杂乱场景也会增加幻觉的可能性。
效率是另一个问题。运行大型VLM和多个基础模型计算成本高，限制了在边缘设备上的部署。作者建议将 GROW² 蒸馏为轻量模型作为未来工作，但这可能会牺牲一些泛化能力。
最后，该系统依赖于准确的3D重建；如果物体网格不完整或变形，部件定位将受到影响。处理透明、反光或高度可变形物体仍然是一个开放挑战。
常见问题解答
GROW² 到底能让机器人做什么？ 它使机器人能够观察一堆未知物体的杂乱场景，挑选最好的物品作为工具，并精确知道抓取和施加力的位置——所有这些都不需要针对这些特定物体的预先训练。
GROW² 与之前的功能学习方法有何不同？ 早期方法要么假设工具已知，要么依赖于一组预定义功能的固定工具。GROW² 同时选择工具和交互区域，处理从未见过的物体。
GROW² 需要大量标注的训练数据吗？ 不需要。它使用预训练的视觉-语言模型和分割模型，因此不需要为工具选择任务额外标注。2D和3D功能基准仅用于评估，而非训练。
GROW² 在实践中有多快？ 当前管道在H100 GPU上每个场景约需16.6秒，对于实时动态任务来说太慢。研究人员正在探索加速方法。
结论
GROW² 通过定位使用“哪个”物体以及“何处”交互，向实用的开放世界工具使用迈出了重要一步。其强大的基准性能和真实世界成功表明，将通用VLM与3D重建结合是实现自适应操作的有前途的路径。
你会如何设计一个工具使用基准，来测试机器人在家庭或仓库环境中处理真正新颖物体的能力？