基于视频与音频的力感知轨迹构建
该方法将第一帧设为固定起始点。 由于该方法以机器人为中心，初始帧必须包含机器人的末端执行器。
对于白板擦拭、胡萝卜削皮和台灯按钮按压任务，所有生成的视频都会直接进入分割流程，不进行人工筛选。对于巧克力盒堆叠任务，共生成 20 段视频，其中 10 段因偏离提示中的抓取方式而被剔除：夹爪从盒子两侧夹取，而不是从盒子下方插入；平行夹爪无法执行前一种抓取方式；或者末端执行器在抓住盒子后发生翻转。除此之外，不再进行进一步筛选。
生成音频中由提示条件控制的力顺序
为检验生成音频的相对响度是否反映任务提示所指定的相对力大小，我们进行了一项受控的锤击实验。从同一张“手持锤子悬于桌面上方”的输入图像开始，向 Seedance 2.0 输入以下提示：
> “以指定的第一档力度在桌面上准确敲击两次，然后以指定的第二档力度敲击。每次敲击都必须只产生一次干净利落的接触，不得发生回弹。”
在 20 次试验中，生成音频有 18 次保留了指定的力顺序；对于两种提示顺序，各有 10 次试验，其中 9 次成功。这些结果表明，在这一受控冲击场景中，Seedance 2.0 能够生成相对响度反映提示所指定力顺序的音频。
该实验检验的是生成器能否遵循提示中的力顺序，而不是响度能否测量实际接触力。相关测试展示于补充视频和项目网站中。
讨论与结论
本文提出了一套联合利用生成视频与音频、为接触密集型操作构建力感知轨迹的流程。在四项真实机器人任务中，该流程支持零样本执行，而仅依据运动学进行回放时往往会失败。
力曲线消融实验表明，与恒力执行相比，音频塑造的力曲线在成功率上相当或更高，同时具有更低的峰值力和冲量。受控锤击实验显示，生成音频能够保留提示中指定的力顺序。最后，利用该流程采集的示范数据可以训练面向特定任务的 Diffusion Policies，并使其适应不同的物体摆放位置和外观。
局限性
SAM-Audio 可能会保留无关声音，使最终的响度曲线无法完美地作为力的代理信号。不过，几何接触门控、力范围约束和闭环调节能够限制这些误差。
音频塑造的力曲线并非唯一，也不一定是最优方案；在持续接触任务中，经过调节的恒力可能达到相当的表现。最后，当前流程需要一定时间来生成视频并提取轨迹和力曲线。因此，在这一过程中场景必须保持不变，系统目前还不支持针对环境变化进行实时适应。
未来工作
未来可以在执行过程中引入实时音频反馈，以实现闭环力调节；同时改进生成视频中的深度对齐，降低轨迹误差。
还可以将该流程与 AI agent 结合，进一步形成闭环：机器人自行提出任务提示，执行生成的视频，并将执行结果和测得的力反馈给下一轮生成。这样一来，力感知任务执行与数据采集就有望实现自我迭代。
常见问题
如何构建力感知轨迹？ 生成视频提供运动轨迹，生成音频则用于在接触密集型操作过程中塑造力曲线。
生成音频在多大程度上保留了提示中的力顺序？ 在 20 次锤击试验中，生成音频有 18 次保留了指定的力顺序。
哪些任务使用了未经人工筛选的生成视频？ 白板擦拭、胡萝卜削皮和台灯按钮按压任务都将每段生成视频直接用于分割。
当前流程的主要局限是什么？ 视频生成以及轨迹和力曲线提取都需要时间，因此场景必须保持不变，系统目前还不支持实时适应环境变化。