Astra 是一种视觉与触觉机器人策略，在仿真中完成了接触丰富的操作任务，在 UniVTAC 上取得 93.8% 的平均成功率，并在 19 项任务中的至少 13 项达到 90% 成功率。结果表明，触觉图像可以帮助通用多模态模型处理接触，无需另行训练针对特定任务的触觉策略；同时也揭示了触觉作用有限、视觉线索造成误导，以及纠正动作仍会失败的情形。
目录
研究人员构建了什么？
研究人员评估了 Astra：一种利用视觉观察和类摄像头触觉图像来控制高接触操作的机器人策略。Astra 不把触觉当成需要针对每项任务重新训练控制器的独立信息流，而是将触觉图像与场景图像、机器人状态、先前动作以及演示信息一同处理。触觉传感器通过局部表面形变图像来呈现接触情况。
Astra 会为机器人的末端执行器——与物体交互的部件——以及夹爪生成有序指令。随后，它利用新的观察结果决定下一步行动。这种反馈很重要，因为发出指令不等于任务取得进展：例如，插入动作可能会让物体卡在开口边缘。
评估涵盖 UniVTAC 和 OpenViTac 两个仿真基准，任务涉及分类、物体选择、抓取、重新抓取和插入。示例包括识别表面粗糙度、按重量区分物体，以及将零件引导至受限开口处。这项研究检验多模态模型能在多大程度上利用接触信息，以及它在将这些信息转化为可靠的物理纠正动作时仍会遇到哪些困难。
Astra 取得了哪些结果？
加入触觉输入后，Astra 在 19 项任务中的至少 13 项达到 90% 成功率，其中九项任务在抽样试验中取得了满分成功率。它在 UniVTAC 上的平均成功率为 93.8%。不过，触觉的作用因基准而异：加入触觉输入后，UniVTAC 的结果提高了 17.5 个百分点，而 OpenViTac 仅提高了 1.2 个百分点。
| 报告结果 | 发现 |
|---|---|
| 输入触觉信息时 UniVTAC 的平均成功率 | 93.8% |
| 输入触觉信息时成功率达到至少 90% 的任务 | 13 of 19 |
| 抽样试验中成功率达到 100% 的任务 | 9 |
| 触觉输入对 UniVTAC 的提升 | 17.5 percentage points |
| 触觉输入对 OpenViTac 的提升 | 1.2 points |
这些是仿真中的抽样结果，并不保证真实机器人也能达到相同表现。大多数任务在每种输入设置下仅进行了十个回合，因此单次结果就可能使某项任务的成功率变化十个百分点。
触觉也并非对每项任务都有帮助。加入触觉输入后，Weight Classify、Empty-Can Selection、Insert Tube 和 Insert Block v2 的结果有所下降。在三项分类或选择任务中，Astra 还利用可见的纹理、凸脊或物体轮廓，在不读取触觉图像的情况下作出判断。这表明，一些表面上需要“触觉”的任务，可能只凭视觉线索就能解决，前提是外观与答案相关。
Astra 如何将视觉和触觉转化为动作？
Astra 将环境观察与机器人自身信息及近期行为结合起来。视觉输入可以包括固定摄像头和腕部摄像头。触觉传感器提供的图像会呈现接触导致的可见表面变化，例如指尖压在物体上时产生的形变。策略可以将这些图案与物体外观、机器人状态、先前动作和演示结果进行比较。
基于这些信息，Astra 会生成一系列末端执行器和夹爪指令。这些指令用于移动或抓取物体；新的观察结果随后让策略检查实际发生了什么变化。如果物体仍卡在开口处，策略可以调整下一步动作，而不是把尝试插入当作任务已经完成。简短的动作说明会将决策与 Astra 对当前情况的判断联系起来，帮助研究人员分析动作是否符合观察到的变化。
这一循环对接触任务尤其重要，因为同一个动作会因对齐情况、支撑条件和摩擦力不同而产生不同结果。触觉图像可以显示接触发生了变化，但要正确解读这种变化更难：轻微形变可能表示物体较轻、抓取方式不同，也可能意味着物体与手指之间几乎没有相对移动。要实现可靠控制，策略必须区分这些可能性，并选择有效的下一步动作。
结果也说明了为什么必须结合视觉和触觉进行判断。Astra 有时会发现可见的表面特征，从而不依赖触觉完成任务。在其他情况下，触觉输入提供了有用的信息，但策略仍难以将判断结果——例如检测到障碍物——转化为能让物体按预期移动的纠正动作。
为什么视觉触觉控制对机器人技术很重要？
许多有用的机器人工作不只是看见物体并朝它移动。机器人可能需要稳稳握住物品以免掉落、将零件对准狭窄开口，或在接触表明首次动作未奏效时作出响应。Astra 的结果值得关注，因为它检验了通用多模态策略能否将基于图像的触觉纳入决策循环，而不是只能依赖针对特定任务训练的触觉控制器。
对机器人买家和运营团队来说，这些结果提醒我们，评估系统时要关注它如何应对接触失败，而不只是能否完成顺利的演示。有效的评估应展示机器人能否察觉打滑或受阻、判断可能原因，并采取能改善情况的纠正动作。比较仓储机器人和人形机器人时也应考虑这些问题，不过这项研究并未证明系统能在上述任何一种实体平台上实现相应表现。
基准测试结果对评估设计也很重要。如果任务的视觉外观直接透露了答案，高分可能反映的是视觉识别能力，而非对物理属性的理解。更有说服力的测试应让外观与重量、摩擦力、刚度或其他属性彼此独立变化，并纳入更长的接触序列、更严格的公差，以及抓取失败后的恢复过程。
Astra 有哪些局限？
所有实验都在仿真中进行。实体机器人还会遇到传感器噪声和漂移、校准误差、真实接触动力学以及执行延迟——这些情况在本研究中均未得到验证。研究也仅涵盖两个基准，并使用针对具体任务的成功演示。在陌生物体、任务、传感器和机器人配置上的测试仍有待开展。
抽样评估规模较小：大多数任务在每种输入设置下只进行了十个回合，单次成功或失败就可能显著改变结果。扩大样本并重复运行，才能更清楚地了解性能波动。
失败案例揭示了实际控制方面的不足。Astra 有时会误读微弱的触觉线索、难以进行精细调整，或持续探测却未能及时作出判断。在插入尝试中，即使检测到零件仍受阻，也不代表系统能通过调整俯仰、偏航或深度来解决问题。系统可能识别出问题，却无法可靠地诊断原因或采取有效的纠正动作。
关于 Astra 的常见问题有哪些？
Astra 是什么？ Astra 是一种视觉与触觉机器人策略，在仿真中的接触丰富操作任务上接受了评估。它根据观察和反馈生成夹爪及末端执行器指令。
该系统中的触觉输入是什么样的？ 触觉传感器会生成图像，呈现接触时局部表面的形变。这些图像为模型提供了可供解读的视觉图案，使其能够与摄像头画面和机器人状态一起进行分析。
触觉是否总能提升 Astra 的表现？ 不能。触觉输入对两个基准的提升幅度不同，并使报告中的四项任务成功率下降。
Astra 是否在实体机器人上进行过测试？ 没有。报告中的实验均在仿真中进行，因此系统在真实硬件上的稳健性尚未得到验证。
Astra 表明，基于图像的触觉信息可以帮助通用多模态策略处理多种仿真操作任务。它仍需解决的难题，是将接触观察转化为高效、可靠的纠正动作，并在实体机器人上证明这一能力。
机器人基准测试应更严格地检验哪种接触失败？