名为 Joints, Camera, Action! 的模型 JCA 可同时生成视频和匹配的 3D 关节动作，随后估计相机参数，将动作置于视频所呈现的场景中。它能够处理不同的骨架布局，有望帮助将生成式动画转化为可用于数字资产、仿真和机器人工作流的动作，而非让动作停留在像素之中。
目录
研究人员构建了什么？
JCA 是一种模型，可将视频和 3D 关节动画作为相互耦合的输出共同生成。用户可以提供文本描述和骨架（rig）：即用于驱动角色或机器人动画的关节与骨骼结构。JCA 会为该骨架生成动作，同时生成展示这一动作的视频。随后，它还会估计相机参数，使 3D 动作与主体在场景中的位置对齐。
该系统面向多种骨架设计，包括关节数量和连接方式各不相同的骨架。它不要求所有角色都采用固定的人体结构，而是将每个骨架表示为一张图：关节是节点，骨骼是节点之间的连接。该模型还支持相关工作流，例如从视频恢复骨架动作、根据指定的骨架动作生成视频，以及根据图像关键帧生成完整轨迹。
研究人员汇集了约 200,000 组成对的视频与动作数据来训练系统，数据来自动画资产、真人影像和机器人视频。动画资产提供了多样的骨架及其已知动作；真人和机器人视频则补充了真实场景与动作示例。由此，系统搭起了视频生成与骨架动画之间的桥梁：前者能够理解视觉动作，后者则能生成可在 3D 资产上重放的动作。
JCA 取得了哪些结果？
研究人员在多种骨架上的文本驱动动画任务中评估了 JCA。论文报告称，生成的动作能够遵循文本提示、保持资产几何形状、与生成的视频同步，并对场景上下文作出响应。系统还展示了由关键帧控制的动画，以及从视频或动作生成内容的能力。这些结果表明，该模型并非只会生成观感出色的片段；它还能够生成可应用于骨架的结构化动作序列。
与仅使用动作数据预训练的模型相比，同时训练视频和动作带来了提升。提示遵循度从 51.6 提高到 58.4，动态程度从 0.72 提高到 0.83。两种模型报告的网格失真值都较低，分别为 0.14% 和 0.20%。摘要未说明哪个失真值对应哪种模型，因此这里只报告对比结果，不将具体数值分配给任何一方。
| 指标 | 仅动作模型 | 视频—动作联合模型 |
|---|---|---|
| 提示遵循度 | 51.6 | 58.4 |
| 动态程度 | 0.72 | 0.83 |
| 网格失真 | 两种模型合计报告 0.14% 和 0.20%；未说明各自对应关系 |
作者还报告称，保持视频与动作分支相连可提升同步效果，而一种名为桥接引导的技术能进一步改善同步。所提供的论文文本没有列出这一对比或其他基线的具体数值，因此无法量化这些提升。
JCA 如何生成并配准动作？
JCA 将两套生成系统结合起来：视频模型和动作模型。动作模型首先学习如何根据文本和骨架描述生成关节位置与旋转序列。其图编码器描述骨架的关节及其连接方式，而去噪网络则逐步将含噪动作序列转化为连贯动作。简单来说，它从粗略、随机的轨迹开始，反复进行细化。
在联合生成过程中，基于注意力机制的小型连接模块让视频模型和动作模型交换信息。注意力是一种机制，帮助模型从另一种表示中选取相关细节。在这里，它让视频能够为动作提供信息，动作也能反过来影响视频，并在生成过程中持续交互。研究人员对这些连接模块进行初始化，使它们在联合训练开始时不会扰乱预训练模型。他们还冻结基础视频模型的权重，只训练轻量级适配器和新增的连接模块。
在推理阶段，桥接引导会比较启用视频—动作连接与未启用连接时的预测结果。它会放大交互带来的变化，促使两种输出更加一致。
但仅有一致性，并不能确定 3D 动作在视频中的位置。因此，JCA 会预测生成关节在图像中的位置，再将这些 2D 位置与生成的 3D 关节位置配对，并拟合一个透视相机使两者对齐。得到的相机参数使动作能够在生成的场景中重放，而不只是作为位置未定的动画观看。
这项研究为何与机器人技术相关？
视频生成器可以生成令人信服的动作，但仅有像素无法告诉机器人或动画系统关节应该如何运动。JCA 通过在生成视觉结果的同时生成结构化动作，着手弥合这一差距。对于机器人技术而言，这有望让系统从指令或参考视频生成可检查、可重定向或可在仿真中测试的动作表示。
这项研究使用了与机器人运动配对的机器人视频，相关动作由机器人运动学模型重建，因此训练数据并不局限于真人和动画角色。其场景配准步骤也针对一个实际问题：要想有意义地重放动作，就必须确定动作相对于周围环境的位置和视角。这与仿真工作流密切相关；在这类工作流中，必须结合上下文评估动作，例如判断某个动作看起来是否能够触及、穿过或避开附近物体。
JCA 并不能证明生成的轨迹安全或已可用于实体机器人执行。不过，将视频、骨架动作和场景位置关联起来的能力，或许能帮助工程师制作视觉行为原型，并为仿真生成候选数据。读者可以浏览 Robot Overflow 上的人形机器人，或探索仓储机器人，了解哪些平台会在实际运行中涉及动作与场景理解。
有哪些局限和待解问题？
论文展示了生成的动作与视频，但所提供的结果并未证明生成的轨迹能够在实体机器人上安全运行。提供的文本未报告机器人特有的约束，例如扭矩、平衡、避碰和控制器性能。与骨架兼容的动画并不自动等于可行的机器人指令。
该系统还依赖对 2D 关节位置的准确预测，以便拟合出有用的相机。其对齐流程估计的是单个透视相机，并将图像主点固定在中心，因此相机模型受到限制。虽然训练集规模庞大，其中部分数据是通过将渲染的资产片段编辑到生成环境中制作的。研究人员会过滤掉改变动作或相机行为的编辑，但标注错误和视觉不一致仍有待更广泛的测试来评估。摘要也未提供所有所称基线的详细数值比较。
关于 JCA 的常见问题有哪些？
JCA 生成视频、动作，还是两者都生成？ 它可以同时生成视频和 3D 骨架动作；论文也展示了根据一种模态生成另一种模态的能力。
这里的“任意骨架”是什么意思？ 动作模型能够处理关节数量和连接方式各异的输入骨架，而不要求采用固定的人体结构。
JCA 如何将动作放入生成的场景？ 它会预测关节在图像中的位置，将这些位置与生成的 3D 关节匹配，再根据对应关系估计相机参数。
它生成的动作能直接控制真实机器人吗？ 论文没有展示安全的实体执行；生成的动作应视为动画，或有待进一步验证的候选方案。
核心结论是什么？
JCA 将视频生成与基于骨架的 3D 动作结合起来，并估计动作如何融入场景。研究结果展现了更适用于资产和机器人工作流的生成式动画潜力，但在实体机器人上执行仍是未经验证的一步。
要让生成的骨架动作真正用于机器人工作流，还需要怎样的验证？