人类书写数据集
已有多个数据集被用于研究人类的书写与绘画行为。早期的 IAM handwriting database,以及较新的 EMNIST 等数据集,以标准化的图像格式记录手写字符,主要服务于识别任务;近年来的研究则进一步纳入了时间信息与运动学信息。
然而,大多数现有数据集仍然以图像为主;即使包含动态信息,通常也只记录位置和笔画时序,很少关注接触力。OnHW 等数据集虽然加入了更多传感模态,但往往是在缺乏约束的环境中采集:参与者在纸上自由书写,没有得到关于字符结构、大小或笔画顺序的指导,传感器则在整个过程中持续记录数据。这会带来较大的差异性,使此类数据集不太适合直接用于机器人学习流程,也难以生成符合机器人控制要求的一致轨迹。因此,它们在学习物理交互任务中的类人运动方面,适用性受到限制。
相比之下,本研究在数据采集过程中对仿真机器人进行遥操作,加入了末端执行器最大速度等现实约束,要求参与者据此调整轨迹。此外,界面还会引导参与者遵循预定义的字符模板、字号和笔画顺序。由此获得的示范更加结构化、一致性更高,更适合用于训练和评估机器人轨迹生成方法。

基于 GMM+GMR 的示范学习
示范学习让机器人通过观察人类示范来掌握新技能,而不必依赖显式编程。这种方法降低了机器人编程的门槛,使非专业用户也能直观地教会机器人执行新任务。
近年来出现的模仿学习方法,包括基于扩散模型的策略和基于 Transformer 的动作序列模型,能够建模时间跨度较长的动作序列,并利用规模更大的示范数据集。不过,这些方法通常需要更多数据和计算资源,且可解释性普遍不如概率轨迹模型。对于本研究所关注的低数据量、受约束场景,高斯混合模型与高斯混合回归(GMM+GMR)在表达能力、可解释性、计算效率和实现难度之间取得了实用的平衡。
在大多数基于 GMM+GMR 的示范学习方法中,输入空间主要局限于空间位置和时间,并且通常假设轨迹是连续的。本研究从两个方面扩展了这一框架:将力和归一化时间作为额外维度纳入,从而更丰富地表示人类运动特征,也更便于整合其他模态;同时调整框架以处理非连续的多段轨迹。此外,许多数据要么通过遥操作采集,要么通过手动引导机器人末端执行器采集,这两种方式都会将机器人的动力学特性引入记录轨迹,使纯粹分离人类生成的运动变得困难。
类人机器人运动与用户评估
本研究从 52 个大小写英文字母的示范中捕捉人类运动动力学,并以用户为中心评估学习到的书写轨迹在多大程度上符合人类对运动动力学的感知。
方法
研究分为两项独立的用户实验。第一项实验在参与者遥操作仿真机器人的过程中采集人类书写轨迹数据,记录位置、速度和力。第二项实验评估基于这些数据训练的机器人,与原始字体相比,其运动是否呈现类人特征。实验选取了 26 个拉丁字母的大小写形式。这些字符具有高度非线性和复杂结构,且包含不连续部分,人工编程实现颇具挑战。
参与者
为确保评估者事先不知道机器人运动是通过人类示范训练得到的,两个研究阶段分别招募了不同的参与者群体。两项研究共有 43 人参加,其中 22 人参与示范数据采集,21 人评估最终机器人运动的类人程度。
第一项用户实验共有 22 名参与者,包括 14 名男性和 8 名女性,年龄为 22–57 岁(M = 31.45,SD = 10.60)。其中 21 人为右利手,1 人为左利手。在触控笔使用经验方面,11 人表示偶尔使用,6 人经常使用,4 人从未使用,1 人只使用过一两次。
第二项用户实验共有 21 名参与者,包括 14 名男性和 7 名女性,年龄为 21–53 岁(M = 27.24,SD = 8.47)。
伦理
研究的两个阶段均获得 University of the West of England 研究伦理委员会批准(参考编号:13470965)。在征得参与者同意前,研究人员向所有参与者提供了参与者信息说明;实验开始前,所有参与者均签署了知情同意书。
研究全程采取了适当措施,以确保参与者隐私和数据安全。参与者有权随时退出研究,并可在参与研究后的七天内要求删除其数据。
人类输入数据集
下图以二维和三维视图展示了参与者 2 第二次书写大写字母 B 时的一条示例轨迹。x 轴和 y 轴表示以毫米为单位的位置,z 轴表示以秒为单位的时间戳;颜色映射表示以牛顿为单位的接触力,其中蓝色表示较小的力,红色表示较大的力。

学习算法
研究使用 GMM+GMR 实现从人类示范中学习机器人运动。为满足书写轨迹学习的要求,研究对算法进行了两项针对性改进。
首先,状态向量不再局限于空间坐标,而是增加接触力和归一化时间两个可学习维度,使机器人不仅能够复现书写的几何形状,还能复现其运动动力学和接触行为。
其次,在训练前加入笔画分段检测步骤。该步骤将每条示范轨迹划分为独立笔画,并分别训练各个片段,从而解决笔画之间抬笔造成不连续、进而导致轨迹退化的问题。
每条示范轨迹均表示为一个四维状态向量:
状态向量在每个时间步包含二维位置、接触力和归一化时间。
讨论
生成的轨迹与人类示范具有相近的空间覆盖范围,同时持续时间更加一致、力曲线更加平滑,体现了学习算法的正则化作用。
人类示范数据集展现了书写行为中固有的自然差异。持续时间范围为 0.302 至 14.674 秒,标准差为 1.543 秒;接触力范围为 0.100 至 5.380 牛顿,反映出不同参与者及不同重复书写之间存在显著个体差异。
尽管存在这些差异,数据集总体上捕捉到了每个字符的空间与动态特征,为概率学习提供了足够丰富的基础。人类示范的平均路径长度为 65.31 毫米,机器人生成轨迹为 63.87 毫米,二者相近,证明 GMM+GMR 能够有效保留空间结构。
本研究对示范学习领域作出三项贡献:
- 提供一个公开可用的书写数据集,记录位置、时间和力数据,为学习方法的基准评测提供资源。
- 将接触力和归一化时间引入 GMM+GMR 框架,使其能够捕捉超越空间路径的人类示范完整动力学,并生成带有不连续部分的复杂多段轨迹。
- 使用仿真机器人对生成轨迹开展用户评估,为其感知类人性提供实证证据。
本研究展示了一种基于触摸屏的界面,用户无需编程经验即可通过物理示范教会机器人执行任务,从而降低开展易用人机交互的门槛。尽管当前验证对象是拉丁字母,但这套流程原则上适用于任何复杂的表面轨迹,因此在需要类人运动的任务中具有更广泛的应用潜力。
研究的局限包括:两项实验的参与者数量分别为 22 人和 21 人,且每项研究均仅在单一实验室环境中开展,这可能限制研究结论的普适性。研究未采集笔画之间的自由空间过渡,因此相关部分采用线性插值;遥操作过程中也未记录笔的朝向。
由于缺少预编程轨迹控制条件,研究无法进行直接比较。示范遵循了预定义指导要求,可能无法反映个体的书写策略,从而限制泛化能力。对于草书或书法等更具表现力的书写风格,笔的朝向和力的调制发挥着更大作用,这些内容仍有待未来研究探索。
最后,由于硬件获取受到限制,评估采用的是仿真机器人而非实体机器人,因此可能无法完全反映真实部署条件。
结论
结果表明,基于概率模型的示范学习能够有效生成类人轨迹;公开发布的数据集及其实现也为研究社区提供了开源基准资源。
常见问题
书写数据集记录了哪些数据? 该数据集记录了人类示范中的位置、时间和接触力数据。
GMM+GMR 如何支持书写轨迹学习? 它对空间位置、接触力和归一化时间进行建模,并分别训练各个笔画,以处理轨迹中的不连续部分。
两项研究共有多少名参与者? 共有 43 人参加:22 人采集示范数据,21 人评估机器人运动。
这项研究的主要局限是什么? 局限包括参与者群体较小、研究环境单一、缺少笔的朝向和自由空间过渡数据,以及使用仿真机器人而非实体机器人进行评估。
