SwapBot 借助可更换工具与触觉,助力机器人更好完成任务

SwapBot 借助可更换工具与触觉,助力机器人更好完成任务

Yunchu Zhang, Ray Song, Junhan Jiao, Liyiming Ke, Yuchen Yang +4 位

1 分钟阅读•2026年10月30日

SwapBot 为机器人配备了可互换工具、紧凑型触觉传感器,以及围绕人们熟悉的手持工具设计的远程操作系统。在测试中,使用触觉反馈的操作者比使用通用远程操作基线的操作者更成功地完成任务,并报告了更低的认知负荷;同样的触觉信号还可用于从示范中学习。该方法为应对需要谨慎接触、而非仅依赖视觉的工具操作任务,提供了切实可行的途径。

目录

研究人员构建了什么?

SwapBot 是一个机器人操作系统,旨在让机器人使用不同工具完成不同工作。其关键组成包括一个简易的定制工具更换器、针对具体工具设计的触觉传感器、直观的远程操作界面,以及利用人类示范训练的策略。该系统不让机器人学习涵盖每种工具所有可能用途的通用表征,而是专注于直接控制工具及其与物体的交互。

可互换的末端执行器包括筷子、刀、刷子和夹钳等日常工具。每种工具都配有紧凑型压阻传感器:这类压力敏感元件会在受力时改变电信号。传感器的安装位置和设计均针对相应工具进行调整,以便采集接触信息,同时避免增加过多体积或让工具变得难以使用。

操作者在“主控端”使用与机器人端相对应的工具。例如,筷子控制机器人安装的筷子,刀则控制机器人安装的刀。这种熟悉的对应关系旨在让示范过程更加自然,不必像操控陌生设备模仿另一种工具那样费力。

该系统针对的是一连串动作,而不只是单独的抓取。SwapBot 可以完成一项已学习的技能,根据当前视觉观测选择另一种工具,再继续执行后续任务目标。研究人员通过一项多步骤烹饪任务展示了这种动作序列。

SwapBot 以工具为中心的工作流程:采集示范并训练操作策略

SwapBot 取得了哪些关键成果?

论文报告了三个方面的积极结果:触觉传感器表征、人类远程操作,以及从示范中学习操作技能。现有论文文本未提供传感器灵敏度、任务完成时间或任务成功率的具体数值,因此无法在此将这些结果换算为百分比,也无法与特定基准分数进行比较。

在受控的人体研究中,使用 SwapBot 工具中心式界面的参与者,比使用通用远程操作工具的参与者取得了更高的任务成功率,并报告了更低的认知负荷。作者认为,触觉反馈是促成这一改进的因素之一。屏幕上的可视化内容展示了接触力和触觉图,帮助操作者察觉首次接触,或工具受力分布发生变化等情况。

在策略学习方面,论文报告称,触觉输入有助于提高模仿学习的鲁棒性,尤其是在可用示范数据有限时。系统还通过串联针对不同工具设计的策略,完成了一项较长任务,其中包括演示过的煎豆腐任务。这些结果支持了其核心设计理念:触觉既能改善用于学习的人类示范,也能帮助机器人后续执行任务。

论文给出了两个重要的实现参数,但二者都不是基准分数:示范数据流以 20 Hz 同步;当机器人末端执行器在 20 consecutive control steps 内,每相邻两个位置之间的移动距离均小于 0.005 m 时,即认为一项技能完成。提供的文本未包含与先前系统的数值比较,也未提供足够细节来计算所报告性能提升的幅度。

SwapBot 的工具操作任务,包括使用家用工具进行交互

SwapBot 如何工作?

SwapBot 通过将操作者使用的工具动作映射到机器人上对应的工具,来采集示范。追踪摄像头估算主控工具的六自由度位姿——即其在三维空间中的位置和朝向——并以这些动作驱动机器人。对于剪刀等可开合的关节式工具,系统使用两个惯性测量单元追踪相对运动,以推断驱动指令。

操作者不必只依赖摄像头图像。安装在工具上的触觉传感器会记录接触力,界面则以实时受力信息和触觉图的形式显示这些信号。看到接触逐渐形成,有助于操作者在精细动作中调整压力或位置。当摄像头画面无法清楚显示工具是否接触到物体,或载荷如何分布时,这一点尤其有用。

在采集示范期间,SwapBot 以 20 Hz 同步多种数据流:来自多个摄像头视角的图像、触觉信号、机器人关节状态、动作和任务标签。保持这些数据流同步十分重要,因为学习系统需要将机器人在某一时刻看到和感受到的信息,与当时采取的动作关联起来。

这些示范用于训练针对具体工具的模仿策略,即复现人类操作者所示动作的学习行为。在较长任务中,SwapBot 会运行当前策略,直到末端执行器的位置连续 20 consecutive control steps 变化均小于 0.005 m。随后,系统会复位至初始姿态,以免遮挡摄像头视野。选择器会利用当前观测和新的目标图像选择下一种工具,将单项已学技能串联成更长的动作序列。

SwapBot 对机器人技术为何重要?

许多现实任务需要的不只是性能出色的夹爪。机器人可能需要刷、切、夹取,或使用一种工具操作物体,而仅凭视觉很难判断适当的接触方式。SwapBot 通过结合可更换工具、触觉感知,以及让操作者直接控制熟悉工具类型的示范方法,应对这一挑战。

这种组合有望让教授机器人执行接触状态不断变化的任务变得更容易。触觉反馈可以帮助人类提供信息更丰富的示范,而策略学习中的触觉输入则为机器人提供另一种信号,用来判断交互进展如何。如果系统能让更换工具和复用已学技能变得更容易,那么在单一末端执行器无法完成所有步骤的场景中也可能派上用场。

这项工作对评估机器人硬件和操作软件的团队都有参考价值。比较不同平台的买家可以浏览 Robot Overflow 上出售的二手机器人,工程师则可参考 SwapBot 的设计,思考工具兼容性和接触感知。论文并未证明该系统已可在无人看管的情况下部署;相反,它展示了将人工指导与触觉信息结合起来,为实用型操作提供了一个有前景的方向。

有哪些局限和待解问题?

SwapBot 的触觉传感器分辨率较低且容易磨损,因此能够提供的接触细节有限,在反复使用时也可能难以长期保持可靠。传感器的安装位置同样依赖人类直觉,而非自动化方法。位置选择不当,可能会错过重要接触,或产生对特定任务不太有用的信号。

策略系统依赖预先定义的任务分段:人或系统设计者必须指定一项技能何时结束、下一项技能何时开始。当意外事件改变最合适的动作序列时,这会限制系统的灵活性。论文将自主策略串联、更耐用且分辨率更高的传感器,以及基于数据的传感器布置列为未来工作。

现有结果也未能说明性能提升幅度有多大、能否迁移到不同工具和任务,以及系统在长期现实使用中的表现如何。相关测量有助于判断系统的可靠性,以及将其适配到新应用所需的工作量。

读者常问 SwapBot 哪些问题?

SwapBot 的设计用途是什么? SwapBot 让机器人更换工具,并从人类示范中学习基于工具的操作技能,同时利用触觉感知采集接触信息。

操作者如何控制机器人? 操作者移动熟悉的工具,追踪系统会将其动作映射到机器人上对应的工具;对于关节式工具,系统还会映射其驱动动作。

触觉反馈有什么作用? 它能为操作者和学习得到的策略提供有关接触和受力的信息,而这些信息可能无法仅从摄像头图像中清楚地辨别。

SwapBot 能执行多步骤任务吗? 可以。它利用视觉观测和目标图像串联针对不同工具设计的策略;论文以煎豆腐任务为例进行说明。

核心结论是什么?

SwapBot 将可互换工具、针对具体工具的触觉感知和熟悉的远程操作结合起来,以改进示范采集和学习式操作。其结果表明,触觉和工具选择应是机器人任务设计的核心组成部分;与此同时,传感器耐用性和自主任务串联仍是有待解决的工程难题。

哪种基于工具的任务最能受益于能够感知接触的机器人?