在线雅可比估计与视觉伺服
无需进行相机或运动学标定，未标定视觉伺服便能在线学习感知特征与执行动作之间的微分映射。Hosoda 和 Asada 提出了带遗忘因子的经典递归最小二乘（RLS）估计器，是这一更新方法的直接前身。Qian 和 Su 则利用卡尔曼滤波器在线估计图像雅可比矩阵。
近期研究进一步将这一方法扩展为更通用的雅可比描述形式，得到稠密的逐像素图像雅可比矩阵，或定义在机器人沿线所有三维点上的视觉运动雅可比场。
然而，视觉运动雅可比场需要大量数据才能计算：在多视角 RGBD 相机配置下，通常需要机器人运动约 2–3 小时。以往方法在工具操作方面的应用也很有限，或尚未得到展示：已有研究演示了双手操控扫帚尖端，也曾在一次演示中利用基于雅可比场的控制抓取工具，并推动苹果沿桌面移动。
此前的研究还曾在几乎没有先验信息的情况下估计雅可比矩阵的逆，而非雅可比矩阵本身，并将其应用于空中书写任务。直接估计逆雅可比矩阵，可以获得从任务空间到命令空间（或关节空间）的直接映射，从而无需在计算上对雅可比矩阵求逆。但由于估计的只有逆矩阵，如何计算并利用雅可比矩阵的零空间并不明确，这限制了方法向冗余结构扩展的能力。
手内书写作为基准任务
我们展示了该方法广泛的适应能力：经过约 18 秒的初始化，实体 ORCA 手能够写出完整字母表，同时持续更新雅可比估计。我们还在仿真中将同一套估计器—控制器构式应用于另外两只手，并以开源实现的形式发布代码。
在纸张坐标系中感知并跟踪笔尖
一台网络摄像头跟踪固定在笔上的 ArUco 标记，以及贴在桌面上的三个标记；后者定义了纸张坐标系。利用固定的“标记—笔尖”偏移量恢复笔尖位置，再将其转换到纸张坐标系中，供后续所有估计与控制使用。摄像头画面同时显示标记检测结果和恢复出的笔尖位置。
随后，系统使用带创新项离群值剔除的恒速度卡尔曼滤波器对笔尖轨迹进行平滑。整个处理流程都保留摄像头时间戳，为估计与控制提供统一的时间轴。
方法
我们将串联机械臂视觉伺服中的经典在线正向雅可比估计器，迁移到更具挑战性的场景：一个冗余的腱驱动手内操作系统。为使其在这一场景中发挥作用，我们加入了两项设计：有意设置的激励阶段，以及零空间握持稳定。
问题表述
对于纸面运行，纸张会被对折，或用胶带固定在桌面上，使纸张中部向上隆起约一厘米，从而吸收无法控制的毫米级垂直漂移，让笔尖始终与纸面接触。
在局部范围内，关节速度与任务速度由任务雅可比矩阵关联，该矩阵将关节速度映射为任务空间速度。
书写路径生成
激励阶段结束后进入跟踪阶段，书写路径生成器在每一步向控制器发送任务命令。每条轨迹都会在纸张坐标系中化为平面曲线，并以恒定切向速度进行遍历，因此笔尖速度不受曲率影响。
字母 A–Z 由三次 Bézier 字形定义；在笔的可书写范围内，系统也支持任意单笔画形状，包括圆形、花朵、爱心、星形等参数化图形，以及自由形式的 SVG 绘图。
发送给控制器的任务空间命令采用跟踪误差上的 PID 加前馈控制律，即在比例—积分—微分命令的基础上加入速度前馈项。
积分项包含抗积分饱和限幅，用于限制累积积分作用；前馈项则等于当前目标点处的路径切向速度。
结果
每次运行都会先建立握持，执行激励阶段，然后在空中或纸面上跟踪参考路径：可以是闭合图形、字母，也可以是自由形式的 SVG 绘图。消融实验在每次运行中仅相对于完整配置系统改变一个组件。
结论
我们证明，快速的具身学习方法能够仅凭手指运动，驱动具有人形结构的腱驱动 ORCA 手完成接触丰富的手内书写。系统在约 18 秒初始化后即可开始书写，并在书写过程中持续适应。
在另外两种手部实体上的仿真实验表明，同一套构式能够适用于运动学特性显著不同的手。这种快速、自适应且具身的方法，有望在仿生手上实现迄今尚未见于强化学习或模仿学习方法的机器人书写精度；后两类方法通常需要大量建模或数据采集工作。
这些结果表明，缺乏精确模型或数据未必是真正阻碍机器人实现灵巧性的原因。该方法速度快、计算负担轻，因此也适用于无法提供高性能计算的场景，例如假肢的机载控制。
常见问题
系统如何跟踪笔尖？ 网络摄像头跟踪固定在笔上的 ArUco 标记，以及用于定义纸张坐标系的三个标记。系统根据固定的“标记—笔尖”偏移量恢复笔尖位置，再用恒速度卡尔曼滤波器进行平滑。
初始化阶段需要多长时间？ 实体 ORCA 手开始书写字母表前，需要约 18 秒的初始化时间。
系统能够跟踪哪些书写路径？ 在笔的可书写范围内，系统支持三次 Bézier 字母 A–Z、参数化单笔画图形，以及自由形式的 SVG 绘图。
为什么要使用零空间握持稳定？ 零空间握持稳定有助于在冗余手执行书写任务的同时维持对笔的握持。