我们提出了ARDY，一种自回归扩散模型，能够实现交互式、可控的人体运动生成。ARDY原生支持在线文本提示和灵活的动力学目标约束，适用于交互式应用，包括跨越单个生成窗口的长期目标。我们展示了交互式、可指令运动生成的实时演示，凸显了生成模型在未来动画系统中的潜力。通过在大型、工作室质量的Bones Rigplay数据集上进行广泛的消融研究，我们验证了架构设计的合理性。此外，在公开的HumanML3D基准上的实验表明，ARDY在运动保真度和控制精度方面均优于现有方法。
混合运动表示
为了平衡高效生成学习所需的表示紧凑性与通过显式特征覆盖实现直接、精确控制的需求，我们提出了一种混合运动表示，将根运动与身体运动解耦。具体而言，根轨迹以显式、可解释的形式表示，而身体运动则编码在紧凑的潜空间中。
我们的混合表示建立在显式运动表示之上。使用这种显式表示的每一帧运动被定义为根骨架关节特征和身体骨架关节特征的元组。这种方法既提供了生成学习所需的紧凑性，又通过显式特征操作实现了直接控制。
训练与实现细节
在实践中，我们的运动分词器使用每帧的补丁大小。编码器和解码器均实现为8层Transformer，潜维度为512，并利用因果自注意力保持时间一致性。分词器使用不同长度（1-10秒）的运动片段进行训练，采用重构损失和额外的脚滑惩罚损失。
交互式运动生成演示
为了展示ARDY的多功能性，我们使用Viser开发了一个界面，用于交互式生成运动。该系统通过结合流式文本提示和鼠标键盘输入的交互式空间约束，实现实时角色控制。
演示结果
我们的系统支持多种运动控制接口：用户可以通过鼠标点击的方式实时定义目标根轨迹，或通过键盘命令调节实时速度。对于鼠标根路径控制，我们通过在鼠标点击的路径点之间线性插值并平滑结果路径来推导目标轨迹。对于键盘根速度控制，我们从用户输入和当前速度计算目标速度，然后在两者之间线性插值，并积分得到的每帧速度以推导输入模型的根轨迹。
大规模MoCap数据分析
我们深入分析了ARDY的关键设计选择以及各种超参数设置的影响。
消融研究
我们针对三个关键设计选择展示了消融结果：混合运动表示、分词器解码器中的全局到局部根转换，以及两阶段去噪器设计。
超参数与分词器类型分析
我们提供了生成视野长度、扩散步数和分词器配置的分析。
基准评估
我们在标准HumanML3D数据集上，将ARDY与离线或在线的文本约束生成基线方法进行了比较。在这些实验中，我们的模型使用40帧生成视野、10步扩散和普通自编码分词器进行训练。ARDY在运动保真度和控制精度方面均优于现有方法。
讨论
我们提出了ARDY，一种自回归运动扩散模型，能够实现交互式、可控的人体运动生成。ARDY原生支持在线文本提示和灵活的动力学目标约束，适用于交互式应用，包括跨越单个生成窗口的长期目标。我们展示了交互式、可指令运动生成的实时演示，凸显了生成模型在未来动画系统中的潜力。通过在大型、工作室质量的Bones Rigplay数据集上进行广泛的消融研究，我们验证了架构设计的合理性。此外，在公开的HumanML3D基准上的实验表明，ARDY在运动保真度和控制精度方面均优于现有方法。
常见问题
ARDY与其他人体运动生成模型有何不同？ ARDY是一种自回归扩散模型，支持交互式、实时的运动生成，具有在线文本提示和灵活的动力学目标约束（包括长期目标）。
ARDY如何分别处理根运动和身体运动？ ARDY使用混合运动表示，将根运动（显式表示）与身体运动（编码在紧凑潜空间中）解耦，平衡了生成学习的紧凑性和直接控制的需求。
用于评估ARDY的数据集有哪些？ ARDY在大型Bones Rigplay数据集上进行了消融研究验证，并在公开的HumanML3D基准上与最先进方法进行了比较评估。
ARDY能实时生成运动吗？ 是的，ARDY通过键盘和鼠标输入支持实时交互式运动生成，可实现根轨迹控制、速度调节和流式文本提示。