Mana 是一个完整的系统，仅通过模拟数据训练机器人手操作真实世界中的关节工具，如注射器、剪刀和钳子。通过结合新颖的基于关键帧的任务规划器、扩散策略和定制柔性指尖，Mana 实现了灵巧工具使用的零样本模拟到现实迁移，精度达到毫米级。
目录
研究人员构建了什么
来自斯坦福大学和华盛顿大学的团队开发了 Mana，这是一个数据生成和训练管道，使灵巧机器人手能够抓取和操作常见的关节工具——带有活动部件的物体，如注射器、剪刀、喷雾瓶和指甲钳。与之前专注于刚体或简单夹爪的工作不同，Mana 解决了手内操作的挑战，即机器人必须在多个抓取配置之间转换以操作工具。
Mana 有三个核心组件：一个关键帧规划器，用于生成跨相关工具配置的密集抓取状态；一个轨迹生成器，将这些关键帧连接成运动序列；以及一个完全基于模拟数据训练的视觉运动策略。该策略使用扩散模型，以单个 RGB-D 摄像头的点云为条件。为弥合模拟到现实的差距，研究人员设计了定制的扁平硅胶指尖，在薄工具部件上提供稳定接触。硬件设置使用 7 自由度 xArm7 手臂和 16 自由度 Allegro 手，感知系统在两张 RTX 4090 GPU 上以 10 Hz 运行。
关键结果
Mana 在六种不同的关节工具上进行了评估——注射器、剪刀、喷雾瓶、钳子、指甲钳和镊子——共进行 120 次真实世界试验。系统总体成功率达到 86.7%，其中注射器（95%）、指甲钳（90%）和镊子（90%）表现尤为出色。剪刀和喷雾瓶更具挑战性，成功率分别为 80% 和 75%。
| 工具 | 成功率（真实世界） |
|---|---|
| 注射器 | 95% |
| 指甲钳 | 90% |
| 镊子 | 90% |
| 钳子 | 85% |
| 剪刀 | 80% |
| 喷雾瓶 | 75% |
消融研究证实了每个组件的重要性。去除力域随机化后，成功率从 86.7% 降至 61.7%。将定制柔性指尖替换为标准刚性指尖，性能降至 73.3%。点云随机化对模拟到现实迁移贡献了 10% 的提升。系统在摄像头视角变化和不同光照条件下仍保持鲁棒性，但当物体点云严重遮挡时性能下降。
工作原理
Mana 将关节工具操作分解为三个阶段：预抓取、抓取和手内驱动。每个阶段具有不同的物理要求。关键帧规划器首先在工具的功能接触区域采样密集抓取状态，为每个阶段生成数千个候选姿态。这种密度至关重要，因为接触位置 1-2 毫米的位移可能导致强力驱动时工具脱落。
轨迹生成器使用在 IsaacLab 中通过 PPO 训练的强化学习策略连接这些关键帧。RL 策略使用特权状态信息——手和工具姿态、速度、接触力和目标配置——而师生框架将其蒸馏为仅基于点云的视觉策略。奖励函数包括跟踪期望状态的密集项以及过度力的正则化惩罚。
对于真实世界部署，系统使用基于扩散的视觉运动策略，采用 transformer 架构。编码器通过 PointNet++ 骨干网络处理点云，生成 128 维令牌，这些令牌条件化一个 6 层扩散 transformer，预测下一个动作。训练期间，团队对力相关参数（PD 增益、质量、摩擦）进行了激进域随机化，因为精确的力模拟被发现是模拟到现实迁移的最关键因素。他们还使用隐式欧拉积分，增加位置和速度迭代次数，以处理小（0.5-1 厘米）工具部件上的高力而不发生穿透。
为什么这对机器人技术很重要
Mana 解决了机器人操作中最顽固的瓶颈之一：处理带有活动部件的工具。大多数商用工业机器人仅限于刚性物体的拾取和放置操作，即使是先进的人形机器人也难以完成需要多步手内操作的任务。通过展示模拟训练策略可以零样本迁移到真实世界的注射器、剪刀和指甲钳操作，Mana 为自动化许多目前需要人类灵巧性的任务打开了大门。
这一能力在实验室自动化（操作移液器和注射器）、医疗器械处理和仓库包装等领域有直接应用——这些领域中的二手协作机器人可升级灵巧手和此类策略。关键见解是力随机化和定制柔性指尖对成功至关重要，这也为构建薄型高力工具操作系统的任何人提供了实用指导。
局限性和开放问题
Mana 的当前实现有几个限制。系统需要受控的摄像头视角，并且难以应对严重的点云遮挡。定制指尖虽然有效，但专为薄工具设计，在几何形状差异很大的物体上可能表现不佳。10 Hz 的推理速率适用于准静态操作，但对于动态任务需要改进。论文也未涉及工具重抓取或失败恢复——如果机器人掉落工具，无法在无人干预下重试。最后，测试的六种工具虽然多样，但仅代表真实世界关节工具的一小部分；扩展到更广泛的形状和机制仍然是一个开放挑战。
常见问题解答
什么是 Mana 系统？ Mana 是一个完整的数据生成和训练管道，使灵巧机器人手仅使用模拟数据即可操作关节工具（如注射器和剪刀），无需重新训练即可在现实世界中部署。
Mana 使用什么硬件？ 系统使用 7 自由度 xArm7 机器人手臂，配备 16 自由度 Allegro 手和定制扁平硅胶指尖，以及一个英特尔 RealSense D435 RGB-D 摄像头用于感知。
Mana 如何实现模拟到现实迁移？ 通过对力参数（PD 增益、质量、摩擦）进行激进域随机化、点云噪声扰动，以及容忍小位置误差并在薄表面上提供稳定接触的定制柔性指尖。
Mana 可以操作哪些工具？ 系统成功测试了六种工具：注射器、剪刀、喷雾瓶、钳子、指甲钳和镊子，在 120 次真实世界试验中总体成功率达到 86.7%。
结论
Mana 证明了关节工具的灵巧操作可以完全在模拟中学习，并以高可靠性迁移到现实世界。通过结合基于原理的关键帧规划器、力感知域随机化和定制硬件，该系统为机器人手操作实现了新的能力水平。
如果今天能够可靠地自动化，哪种灵巧工具使用的应用会对现实世界产生最大影响？