语言如何帮助机器人从大规模人类视频中学习动作

语言如何帮助机器人从大规模人类视频中学习动作

Jiachun Jin, Zetong Zhou, Haonan Wang, Xiao Yang, Jun Zhu +1 位

1 分钟阅读•2026年11月15日

如今,机器人可以从人类视频中借鉴的不只是示范:SALA 为人类动作和机器人动作建立了共享且与语言对齐的表征,让人类影像能够帮助训练机器人控制。在仿真环境和一台 63 自由度实体机器人上的测试表明,随着人类视频预训练规模增至 2,678 等效小时,动作预测误差随之降低,而且无需增加机器人数据。这为利用海量视频拓展机器人的技能提供了一条切实可行的路径。

本文摘要涵盖哪些内容?

研究人员构建了什么?

SALA 是一种利用无动作标注的第一人称人类视频来帮助训练机器人策略的方法。策略是机器人系统中负责将机器人看到的内容映射为其应执行动作的部分。难点在于,人类影像中不包含机器人控制指令,而且人类与机器人的身体运动方式不同。仅仅将每段视频压缩为有用的表征,并不能保证相似动作——例如伸手或转身——在两种具身形态中都得到相似的表示。

SALA 通过潜在动作分词器来弥补这一差距:该模型将一段短视频片段转换成表示其中动作的紧凑代码。它利用基本动作的自然语言描述来连接人类与机器人的片段,即使这些片段互不配对——也就是说,并非在同一时间记录的同一个动作。机器人动作监督将机器人侧代码锚定到控制上,而语言则引导人类侧代码靠近语义相关的机器人代码。

由此得到的共享动作表征,使人类视频能够为机器人控制所用的同一个动作专家提供训练目标。策略本身从视频帧中学习;不过,训练分词器所用的片段需要配有动作描述。

SALA 通过语言引导对齐人类与机器人的潜在动作

SALA 取得了哪些结果?

核心结果体现为一种规模扩展趋势:随着研究人员增加人类视频预训练规模,机器人的动作预测误差稳步下降,而且没有增加机器人训练数据。报告的预训练规模达到2,678 等效小时。这表明,通过 SALA 的共享表征,规模更大的人类影像集合能够提升机器人预测动作的能力,而无需让每个新增样本都成为机器人示范。

评估涵盖仿真环境和一台具有63 自由度的实体机器人;自由度用于衡量机器人可独立控制的关节或运动。真实环境研究考察了人类视频预训练规模的扩展,也考察了增加单个下游任务的人类示范数量所带来的效果。其中一项任务是拾起三个散落的齿轮,并将它们装到对应的销钉上;只有所有齿轮都正确放置,并在松手后保持原位,才算成功。

论文报告称,SALA 会围绕动作含义而非场景外观来组织潜在动作。给出的结果没有提供具体误差值、提升百分比或齿轮任务成功率,因此无法据此与以往方法进行数值比较。相较于仅通过重建学习潜在动作的方法,SALA 的优势在于明确训练跨具身形态的语义对齐。

SALA 如何工作?

SALA 通过一系列学习步骤将视频与控制关联起来:

  1. 将片段转换为动作代码。 分词器处理短视频片段并生成潜在动作表征。这些代码为策略提供了紧凑的预测目标,无需预测完整视频的每个细节。
  2. 以控制为机器人代码提供依据。 机器人片段与机器人动作监督配对。这有助于将机器人的潜在代码与机器人实际能够执行的动作关联起来,而不是与偶然出现的视觉变化相关联。
  3. 用语言描述基本动作。 原子动作描述——即对当前动作的简短标签——为人类和机器人的片段提供共同参照。例如,即使人和机器人的外观不同,或出现在不同场景中,这些描述仍能指出哪些片段具有相关的动作含义。
  4. 使用软目标对齐相关片段。 SALA 不会强迫每个片段都匹配唯一且精确的对象,而是利用分级语义相似度构建“软邻域”目标。系统会促使人类动作代码靠近含义相关的机器人代码,尤其是那些以机器人控制为依据的代码。
  5. 使用两类数据训练动作专家。 动作表征对齐后,人类视频便可帮助监督支持机器人控制的同一个动作专家。这样,训练过程就能利用人类影像,而不必把它当成包含机器人指令的视频。

这种设计针对早期潜在动作方法的一项弱点:重建片段可能保留场景细节或无关变化,而不只是可控动作。SALA 同时加入机器人控制锚定和基于语言的对齐,让动作含义成为组织表征的核心信号。

用于测试 SALA 人类视频规模扩展的实体机器人设置

SALA 对机器人技术有何意义?

采集机器人示范成本高昂:每次记录都需要机器人、操作员、任务设置和安全的运行时间。人类视频则更容易大规模收集,但记录人执行任务的影像并不能直接告诉机器人该驱动哪些电机。SALA 提供了一种利用这类影像作为动作学习信号的方法,同时仍以机器人数据作为控制锚定依据。

对运营团队而言,这项工作的意义并非机器人可以立即照搬任何在线视频。更实际的前景是,人类影像可以帮助改进动作表征,并减少预训练所需的机器人专属数据。在许多任务共享抓取、伸手、放置或转动等基本动作,但为每种变化采集示范都成本高昂的场景中,这种方法可能尤其有用。

这项工作也凸显了一项实际要求:语言描述是不同具身形态之间的桥梁。构建训练数据集的团队需要为分词器训练提供一致的动作标签,尽管最终策略是从视频帧中学习的。对于正在考虑机器人学习与部署硬件的机构,在售二手机器人可作为了解现有平台的起点。

SALA 有哪些局限?

SALA 的分词器需要训练片段配有原子动作描述。这会带来不小的数据准备成本:人类视频可能十分充足,但该方法仍需要语言标签来教会分词器哪些动作在语义上相关。策略本身使用视频帧,但表征学习阶段依赖这些描述。

规模扩展证据也有局限。研究测量的是离线验证误差,每种设置仅报告一次运行,并将预训练预算评估至 2,678 等效小时。预测误差降低固然令人鼓舞,但这并不能证明真实任务成功率也会以相同幅度提升。这一趋势能否在更大规模的视频集合中延续,以及它能在多大程度上提升机器人在各类任务中的成功率,仍有待研究。

读者常问哪些问题?

SALA 会直接用人类视频训练机器人吗? 人类视频通过对齐后的潜在代码提供动作学习目标,而机器人动作监督则为这些代码提供控制依据。策略从视频帧中学习,但分词器在训练时需要动作描述。

SALA 需要人类与机器人拍摄相互匹配的视频吗? 不需要。语言描述通过分级语义相似度连接互不配对的片段,因此人类和机器人的视频无需展示同一次动作。

研究测试了多大规模的人类视频预训练? 报告的规模扩展研究达到了 2,678 等效小时的人类视频预训练。论文结论指出,随着预训练规模扩大,动作预测误差稳步下降。

动作预测误差降低能证明真实环境中的表现更好吗? 不能。报告的趋势衡量的是离线验证误差;这一指标与实体机器人的成功率之间有何关系,仍是一个待解问题。

读者应记住什么?

SALA 通过语言引导,为人类和机器人的视频建立了共享动作表征,让人类影像在不增加机器人数据的情况下帮助降低机器人的动作预测误差。结果颇具前景,但真实任务成功率,以及视频规模超过本次测试预算后能带来多少收益,仍有待验证。

哪些机器人任务最能从人类视频中学习共享动作表征获益?