人形机器人如何通过动作学会自然、兼顾接触的互动

人形机器人如何通过动作学会自然、兼顾接触的互动

Vongani H. Maluleke, James Ni, Kie Horiuchi, Lea Wilken, Jiahui Lei +5 位

1 分钟阅读•2026年11月7日

Social Humanoid 让 Unitree G1 能够针对附近的人做出协调的全身响应,而不只是重放孤立动作。该系统结合了一个 260-hour 人—人形机器人互动基准、一种将人际互动片段迁移到机器人身体上的方法,以及一个可在机器人上运行的生成模型;仿真和实体 G1 上的演示显示,机器人的响应能与人类伙伴相协调。

目录

研究人员构建了什么?

Social Humanoid 是一个系统,可让 Unitree G1 根据人类伙伴的动作生成全身运动。它的目标是实现社交性身体互动:机器人与人协调彼此的位置,并可能发生接触,而不是让机器人仅仅识别手势或独立移动。

该系统由三个主要部分组成。首先,Adaptive-HHI Retargeting 方法将人际互动记录转换为人类—人形机器人配对动作。“动作重定向”是指将一种身体上的动作映射到比例和关节结构不同的另一种身体上。其次,共享码本 VQ-VAE 将两种身体的动作转换为一组通用的离散动作单元。第三,Diffusion Forcing Transformer 利用这种表示,根据人的动作生成机器人的响应。生成的动作通过 SONIC 在 G1 上执行。

研究人员还介绍了实时影子遥操作:人类操作员的动作可通过共享动作表示驱动人形机器人。该系统及其 260-hour HHI Benchmark 共同应对一个基础开发难题:社交人形机器人需要人机互动示例,但与人际动作数据相比,这类记录十分稀缺。

展示人类与人形机器人互动动作序列的示意图

Social Humanoid 取得了哪些成果?

研究报告展示了一套可运行的完整流程,能在仿真环境和实体 Unitree G1 上生成协调且与人类动作相呼应的响应。研究人员称该方法可处理多种互动类型,并将 260-hour HHI Benchmark 作为训练和评估社交人形机器人系统的资源。该基准的规模值得关注,因为涉及机器人的互动数据是此类研究的一大瓶颈。

该方法还针对一种直接动作迁移容易出现的具体问题:当人类姿态映射到身体比例差异很大的机器人身上时,接触点可能发生偏移。例如,G1 比作为动作来源的人类矮,因此拥抱时,伙伴的双手可能会落在机器人肩膀上方。研究人员采用双阶段动作重定向,同时调整伙伴和机器人的姿态,力求保持接触关系及双方的相对位置几何关系。

现有结果没有提供数值化成功率、延迟测量,也没有给出相较早期系统的直接性能提升数据。因此,无法据此用单一分数对 Social Humanoid 与其他方法进行排名。该研究展示的贡献在于将保持互动关系的数据生成、共享动作表示和真实机器人执行结合起来。

通过调整人类与人形机器人的姿态来保持互动和接触

系统如何工作?

整个流程从人际互动片段开始。由于身体在身高、肢体长度和关节结构上存在差异,直接将一个人的关节位置映射到人形机器人上并不可靠。动作重定向方法旨在保持互动本身:参与者的接触位置、彼此姿态的关系,以及双方相对位置。

动作重定向分两阶段进行。第一阶段,将一个人的动作适配到人形机器人上,同时保持另一个人不变。这可能导致接触位置错位:例如,伙伴伸手时可能会够得过高,超出较矮的 G1。在第二阶段,调整伙伴的姿态以匹配经过重定向的机器人。对于手臂发生接触的帧,系统使用逆运动学——一种通过求解关节角度来让肢体到达目标位置的方法——调整伙伴的肩部、肘部和手腕。对于接触程度较高的片段,系统还会进行身体姿态优化,在遵守人体关节活动范围限制的同时,调整包括手腕、胸部、颈部、髋部、脊柱和膝部在内的关键身体部位。

系统会交换互动双方的角色,再次对每个片段进行动作重定向,因此数据涵盖互动双方的动作。随后,共享码本 VQ-VAE 对人类和人形机器人的动作进行编码。简单来说,该模型用一套共同的、学习得到的动作单元词汇来表示两种身体。接着,Diffusion Forcing Transformer 在这一共享空间中,根据人类伙伴的动作生成机器人的动作。SONIC 将生成的动作应用到机器人上;同一共享表示也支持影子遥操作。

展示人形机器人现实互动演示的网格图

这项研究为何对机器人学重要?

具备社交响应能力的机器人不能只检测到有人存在。它还必须以适合互动的方式移动:保持恰当的接近距离、协调自身姿态,并在接触时维持双方的位置关系。这些能力对机器人在人员附近工作的场景十分重要,包括辅助、协作任务和演示等。该研究提供了一条从记录的人类互动中学习这些行为的途径,而不是只依赖人工编写的动作脚本。

关键的工程洞见在于,社交行为取决于两具身体之间的关系。机器人即便摆出看似合理的姿势,也可能因为身体比例不同而伸手错位或失去接触。同步调整机器人和伙伴的动作,可以生成更符合真实互动几何关系的训练示例。

这项工作也与评估互动类应用平台的人形机器人开发者有关。Robot Overflow 上的人形机器人市场提供了一个了解现有人形机器人系统的平台。Social Humanoid 是一套研究系统,并不能证明 G1 已能在无人监督的情况下与公众互动;它的价值在于展示如何在实体平台上衔接数据生成与动作生成。

有哪些局限和待解问题?

该系统依赖经过动作重定向的记录,而其保持接触的方法必须在处理显著身体形态差异的同时,避免生成不自然的人体姿势。作者介绍了关节活动范围限制和身体姿态调整,但报告材料没有量化该方法在不同互动类型或身体类型上的成功率。

实体机器人的演示表明该方法能够在 G1 上运行,但这些演示本身并不能证明系统在长时间部署、多样化环境或面对不可预测的互动对象时,仍能安全、可靠地运行。身体接触还带来有关力控制、碰撞规避,以及互动突然变化时机器人应如何响应等问题。后续评估需要明确衡量动作质量、接触准确性、响应时序、安全性和人类舒适度。与既有系统的量化比较也有助于厘清该方法在哪些方面提升最大。

关于 Social Humanoid,常见问题有哪些?

Social Humanoid 控制什么机器人? 该系统在 Unitree G1 人形机器人上生成并执行全身动作。

260-hour HHI Benchmark 是什么? 这是与该系统一同推出的人类—人形机器人互动基准。现有摘要说明了其时长,但没有详述完整的记录内容构成。

该方法如何处理机器人不同的身体比例? 它先对机器人动作进行重定向,再调整人类伙伴的姿态,以恢复接触关系和互动几何关系,同时遵守关节活动范围限制。

该系统能在实体机器人上运行吗? 可以。研究人员报告了仿真和实体 G1 上的演示,不过现有材料尚未证明其能在大范围、无人监督的部署中保持良好表现。

核心结论是什么?

Social Humanoid 将具备互动感知能力的动作数据、适用于人和机器人的共享表示,以及实体人形机器人的生成式全身控制结合起来。其核心贡献是提供了一种实用方法:将人类互动适配到身体结构不同的机器人上时,仍能保持接触关系和双方的相对位置。

人形机器人应当优先学会应对哪种人机互动?