研究人员开发了 KAI——一种具备运动学感知能力的接口，能够明确编码物体部件的运动方式（例如铰链旋转和抽屉平移），从而显著提升机器人对日常关节物体的操作能力。该方法在多种任务上的平均成功率达到 82.9%，所需示范数据仅为现有方法的一半，并且能够稳健地迁移到杂乱的真实场景中。
目录
研究人员构建了什么
来自 CUHK-SenseTime Joint Lab 的团队构建了 KAI——即 Kinematic-Aware Articulation Interface（运动学感知关节运动接口）。它充当原始相机图像与机器人控制策略之间的结构化中间层。当机器人看到笔记本电脑或抽屉等物体时，KAI 的神经网络不仅会预测应该抓取的位置，还会准确判断物体支持的运动类型（抽屉的棱柱运动、门的旋转运动）以及当前关节状态（开合程度）。随后，这些运动学信息会被输入基于扩散模型的策略网络，用于生成精确的机器人动作。
KAI 的一项关键设计是与动作无关（action-agnostic），也就是说，它不需要机器人特定的示范数据来学习运动理解能力。因此，同一种运动学表示可以利用 HOI4D 等公开数据集中的人类交互视频进行联合训练，而无需任何机器人示范。最终得到的策略即使只在单一、整洁的环境中训练，也能理解关节物体的物理规律，并迁移到存在杂物、桌面纹理不同或周围有其他物体的场景。
关键结果
研究人员在仿真环境中使用标准基准，对六项关节物体任务进行了评估：打开抽屉、开门、打开笔记本电脑、合上笔记本电脑、打开微波炉和合上微波炉。主要结果如下：
- 平均成功率 82.9%——即使不进行视频联合训练，也超过了所有基线方法（RVT-2、ACT、DP）。
- 所需数据减少一半——仅使用 50% 的示范数据，KAI 就能达到或超过基线方法的表现。
- 绝对提升 40.6%——在低数据量场景下（抽屉任务仅使用 5 次示范），相比最佳基线方法的绝对提升幅度。
- 联合训练后达到 84.6%——加入人类交互视频后，仿真表现小幅提升（受域差距限制），但真实环境测试结果显著提高。
在真实环境实验中，研究人员使用搭载 Robotiq 夹爪的 Franka Research 3 机械臂。仅用整洁实验室环境中的 100 次示范训练后，策略取得了以下结果：
- 平均成功率超过 70%——即使背景和物体存在干扰（杂乱桌面、不同桌布），仍能保持这一水平。
- 整洁环境下接近完美的 100% 成功率——在打开抽屉任务中达到这一结果。
- 与人类视频联合训练效果显著——在真实杂乱环境中尤其有帮助，因为人手与机器人夹爪之间的域差距小于仿真环境中的差距。
工作原理
KAI 作为一种明确的中间表示，位于感知与控制之间。整个流程分为三个阶段：
- 视觉编码器——ResNet-50 接收 RGB-D 图像（来自一台或两台相机），提取像素特征。
- 运动学预测头——一个轻量级 Transformer 为每个物体实例输出三类信息：(a) 二元关节运动类型（棱柱/旋转），(b) 当前关节位置（归一化到 0–1），以及 (c) 可供性热图，显示适合进行操作的位置。
- 扩散策略——条件扩散模型将 KAI 特征（与机器人状态拼接）作为输入，以 10 Hz 的频率生成路径点动作。
运动学预测采用简单的交叉熵损失训练运动类型，并使用 L1 损失训练关节状态。相同的预测头适用于任何关节物体，因此无需针对每种物体重新训练。
仿真基准结果（6 项任务平均值）：
| 方法 | 成功率 | 所需数据 |
|---|---|---|
| RVT-2 | 52.8% | 全量（50 次示范） |
| ACT | 34.5% | 全量 |
| DP（Diffusion Policy） | 28.7% | 全量 |
| KAI（本文方法） | 82.9% | 一半（25 次示范） |
| KAI + 视频 | 84.6% | 一半 + 500 段人类视频 |
关键洞见在于：通过显式建模运动学，KAI 为学习过程提供了强大的归纳偏置，降低了学习所需的样本复杂度。策略不必重新学会“抽屉沿直线滑动”这一事实——KAI 已经将其告知策略。
这对机器人技术意味着什么
日常操作仍是机器人领域最具挑战的问题之一。门、橱柜和抽屉遍布家庭、仓库和工厂。现有模型要么需要数百次示范，要么在视觉环境杂乱时失效。KAI 将物体物理规律嵌入学习流程，为机器人以极少的再训练适应新环境提供了一条切实可行的路径。
对于仓储和工业场景而言，这意味着机器人能够更快部署，并适应货架布局或装配工位的变化。数据效率方面的发现，对于改装并采用基于学习的控制系统的二手工业机器人尤其重要——示范次数更少，就意味着调试和部署成本更低。
与人类视频进行联合训练，也为利用 YouTube 或教学内容进行学习打开了大门，从而减少对昂贵遥操作的依赖。尽管当前平台使用的是 Franka 机械臂，但该方法与具体架构无关，也可以应用于负责操作橱柜和家电的人形机器人或协作机器人。
局限性与开放问题
目前有两项主要局限。第一，测试任务都是短时域任务，即打开抽屉这类单步操作。许多真实任务——例如清空洗碗机或组装家具——需要按顺序完成多个关节运动。如何将 KAI 扩展到长时域任务，仍是一个开放挑战。
第二，真实环境实验只使用了一个机器人平台（Franka Research 3）。运动学接口的设计理论上可以迁移到其他机械臂，但这一点尚未得到验证。不同的夹爪、相机安装位置和机器人运动学特性都可能影响性能。
此外，联合训练收益在仿真到现实的迁移中表现出不对称性。在仿真环境中，人类视频联合训练只带来了 1.7% 的提升，原因是存在域不匹配；而在真实环境中，提升则更为明显。人类视频究竟在何时、为何能够发挥作用，仍是当前活跃的研究问题。
常见问题
KAI 究竟是什么？ KAI 是一个神经网络模块，能够根据相机图像预测物体的关节运动类型（铰链或滑动）以及当前关节角度，并将这些信息输入机器人控制策略。
与其他方法相比，KAI 需要多少数据？ KAI 只需一半的示范数据，就能达到或超过 ACT、RVT-2 等先进方法的性能。例如，在仿真环境中只需 25 次示范，而不是 50 次。
KAI 是否需要机器人示范来学习运动学？ 不需要。由于 KAI 与动作无关，它可以仅从人类交互视频中学习物体运动规律，之后再与机器人数据联合训练，以获得更好的控制能力。
测试了哪些真实环境任务？ 测试包括打开抽屉、合上笔记本电脑和合上微波炉，并加入不同桌面纹理、杂物等视觉干扰，成功率超过 70%。
结论
KAI 证明，显式表示运动学约束，是实现高数据效率关节物体操作的一种强大策略。通过减少所需示范数量，并泛化到杂乱的真实环境，这一方法让我们距离能够处理人类环境中各种门、抽屉和家电的机器人又近了一步。
KAI 会不会正是让机器人只用几次示范就学会家务任务的关键？