可穿戴机器人拇指借助视觉抓取并 удерж住物体

可穿戴机器人拇指借助视觉抓取并 удерж住物体

Jianyu Hou, Jiawei Fu, Weikang Wan, Minghui Jiang, Jiajun Li +1 位

1 分钟阅读•2026年10月28日

EgoThumb 是一款由视觉控制的可穿戴额外拇指,能够自行判断何时抓取、 удерж住并释放物体,让使用者的生物手指可以继续完成其他动作。朝向手掌的摄像头将图像传给通过模仿学习训练的控制器,安装在前臂上的腱索则驱动轻巧的拇指。在四项真实任务中,该系统展现了跨使用者和不同背景的性能;移除时序对齐或图像裁剪后,报告的拧开瓶盖成功率会从 0.7 降至零。

研究人员开发了什么?

EgoThumb 为使用者的手增加一根机器人拇指,帮助其在执行其他动作时 удерж住物体。主要硬件包括一根小型腱索驱动拇指、一台从掌心向外拍摄的摄像头,以及一套佩戴在前臂上的执行器模块。将电机移离手指,可减轻可穿戴部分的重量。腱索主动控制各关节的弯曲和伸直,使系统能够双向控制位置。

手指骨架由 PLA 塑料 3D 打印而成。掌心一侧覆有一层柔软的硅胶,在拇指接触物体的位置增加摩擦力。两条可调节绑带——一条横跨拇指与食指之间的虎口,另一条环绕手腕——可将设备固定在不同大小的手上,并帮助防止滑动。

摄像头为控制器提供手部动作及周围环境的视野。EgoThumb 无需单独的系统测量使用者的手部姿态,而是通过演示学习利用图像来决定自身关节的位置。研究人员称,该系统完全开源,其硬件、感知和控制均作为一套可穿戴辅助系统进行整体设计。

EgoThumb 在真实环境中的辅助任务示意图

EgoThumb 取得了哪些结果?

研究人员在四项真实任务中测试了 EgoThumb,旨在评估它能否辅助抓取、让使用者的生物手指腾出来完成其他动作,以及能否适用于不同的人和环境。他们报告称,系统在这些任务中表现稳健,并能适应不同使用者和多样化背景。所提供的结果未列出每项任务的成功率,也未说明全部四项任务的名称,因此无法逐项比较其表现范围。

最明确的数值结果来自消融研究——这类实验会逐次移除系统的一个组件。在“拧开瓶盖”任务中,完整系统在分布内的演示者参与测试时,报告的成功率为 0.7。移除时序补偿或图像裁剪中的任一项后,成功率都降至零。这些对比表明,在该测试中这两个环节都很重要,但并不能证明它们在所有任务或使用者中都同样有效。

“拧开瓶盖”任务的设置报告的成功率
完整系统0.7
不进行延迟匹配0
输入未裁剪的图像0

论文摘录没有提供与其他可穿戴手指或独立机器人手的数值比较。因此,结果支持的是该系统在时序处理和图像处理方面的设计选择,而非证明 EgoThumb 整体优于其他设备。

视觉驱动的控制器如何工作?

EgoThumb 使用视觉模仿学习:通过观察使用者操作设备的示例,学习控制策略。在数据采集过程中,演示者使用脚踏式力传感器(FSRs)控制拇指。左脚控制 MCP 和 IP 关节的屈曲与伸展——也就是弯曲和伸直;右脚则控制拇指根部的 CMC 关节。MCP 与 IP 的运动关系固定,因此演示者需要管理的独立控制量更少。

系统会记录摄像头图像、可穿戴拇指的关节位置,以及演示者期望执行的动作。随后,学习得到的策略将摄像头图像直接映射为期望的拇指关节位置。部署时,遥操作控制器会断开连接,由摄像头驱动的策略自主运行可穿戴拇指。其目标是根据可见的手部与物体状态作出反应,而无需明确测量使用者的手部动作。

精确的时序至关重要,因为图像、关节读数、计算过程和实体运动并不会恰好同时发生。EgoThumb 使用网络时间协议同步 Raspberry Pi 计算机和 PC,随后通过考虑时间的插值将图像与关节位置相匹配。系统还会延迟预测动作,以补偿处理和执行延迟。其视觉处理流程会裁剪图像,聚焦于相关的操作细节;摘录未说明裁剪区域的具体尺寸或位置。

为了实现系统组件之间的通信,研究人员使用 Zenoh 和 Protocol Buffers 构建了中间件。简单来说,这套中间件能够在用于采集演示和运行系统的计算机之间传输同步传感器数据与指令。

EgoThumb 在多种环境中运行

EgoThumb 对机器人技术有何意义?

许多机器人手的设计目标是独立于人类执行任务。EgoThumb 面对的是另一类挑战:在共享工作空间、需要操作同一物体的情况下,让机器人与人手协调配合。额外的拇指可以提供接触点,用于 удерж住或稳定物体,同时让使用者的其他手指完成任务。这类辅助在需要一只手固定物品、同时用手完成下一步操作的场景中可能很有用。

视觉驱动的方法也体现了可穿戴机器人设计中的一种务实选择。依赖摄像头而非明确测量手部运动的系统,可以省去用于追踪使用者手部的专用传感器。不过,控制器仍需可靠地理解场景,而这项研究的消融结果表明,图像处理和精确的时序控制是实现可靠性的关键。

EgoThumb 是一款研究原型,并非适用于所有工作场所或家庭的现成方案。不过,它为工程师提供了一个具体示例,展示了如何结合可穿戴机构与学习式视觉控制。比较人类尺度机器人系统的团队,也可以浏览 Robot Overflow 上的人形机器人,了解另一类硬件。

有哪些局限和待解问题?

报告的结果仍未解答若干实际问题。现有文本没有提供各项任务的成功率、演示次数、参与者人数,也没有详细的速度和失败恢复测量数据。文本同样未给出跨使用者和背景泛化能力的数值结果,因此很难判断这些提升的幅度或可靠性。

消融测试仅涵盖分布内演示者参与的“拧开瓶盖”任务。结果表明,在该设置中,时序补偿和图像裁剪都很重要,但并不能证明它们在所有任务或环境中都会产生相同影响。文本也未与其他可穿戴辅助系统进行直接比较。

在实际部署前,团队还需要了解长时间使用的舒适度、对不同手部尺寸的适配性、夹点附近的安全性、电池续航,以及物体或光照与演示环境差异较大时的表现。所提供的结果没有描述这些评估。

读者常问 EgoThumb 的哪些问题?

EgoThumb 是否使用单独的传感器追踪使用者的手? 据报告,其策略会将摄像头图像直接映射为拇指关节位置,不会明确测量手部动作。

可穿戴拇指如何运动? 由前臂执行器驱动的腱索控制拇指关节的屈曲和伸展。

自主运行时,使用者是否需要控制设备? 不需要。脚踏式力传感器用于采集演示;自主部署时,遥操作硬件会断开连接。

移除控制器的时序处理或图像裁剪后,结果如何? 在“拧开瓶盖”测试中,任一项变更都会使报告的成功率从 0.7 降至零。

核心结论是什么?

EgoThumb 展示了一种可穿戴额外拇指,它借助视觉和学习式控制辅助抓取与 удерж物体,同时让使用者的生物手指可以继续完成其他动作。报告结果还表明,精确的时序控制和聚焦的图像输入是该系统在测试中的关键组成部分。

在日常工作中,可穿戴机器人拇指在哪些场景最能发挥作用?