开放世界操作需要快速响应接触和滑动事件。当指尖首次接触时，或抓取从粘滞过渡到滑动时，相关的“手-物”交互线索往往短暂、微妙或被视觉遮挡。我们提出VibeAct，这是一个利用嵌入机器人手部的压电麦克风来估计这些接触和滑动事件的框架，并将它们作为触觉观测用于学习灵巧操作策略。
直接从真实世界的振动触觉观测中学习灵巧操作同样不切实际。收集大规模的接触丰富演示劳动强度大，而在线强化学习由于早期训练中不稳定的探索而代价高昂且可能不安全。这些限制共同促使我们寻找一种能够桥接真实振动触觉感知与基于仿真的控制的表示方法。
这项工作的核心洞察是：接触和滑动为“仿真到现实”的策略学习提供了一个连接感知与控制的接口。接触开始、二元滑动和标量滑动幅度是低维且与任务相关的量，它们既可以从真实的麦克风信号中估计，也可以在接触模拟器中直接计算。VibeAct并非在原始音频上训练策略，而是学习一个触觉估计器，将麦克风波形映射到这一物理表示，并在仿真中使用相同的表示作为观测通道来训练强化学习策略。估计器解决感知问题，而模拟器解决控制问题。
我们将VibeAct应用在安装于机器人手臂上的灵巧手上，每个指尖都嵌入了压电麦克风。我们在校准的数字克隆中回放真实世界的机器人轨迹和物体姿态记录，并使用模拟器的接触求解器生成用于训练触觉估计器的接触和滑动标签。利用相同的触觉表示以及本体感觉和点云观测，我们完全在仿真中训练PPO策略。然后，我们在接触丰富的操作任务（包括手内重定向和插销插入）上评估学习到的策略。
本文做出三项贡献：（i）一个基于共享接触-滑动表示的“仿真到现实”振动触觉灵巧框架，桥接了真实振动触觉感知与基于仿真的策略学习；（ii）一个数字克隆数据标注流水线，从真实世界演示中自动生成每个手指的接触和滑动监督；（iii）一项实证研究，表明该表示作为接触丰富的灵巧操作任务中强化学习的有效触觉观测。
方法
VibeAct包含三个组成部分。首先，一个遥操作流水线记录机器人状态和物体状态，与振动声学信号同步，然后在仿真中的校准数字克隆中回放轨迹，生成每个手指的接触和滑动标签作为触觉表示。其次，触觉估计器学习将真实麦克风信号映射到该触觉表示。第三，RL策略在仿真中使用本体感觉、点云和相同的触觉表示作为观测进行训练。部署时，训练好的估计器替代仿真派生的触觉通道。
触觉表示
该表示有意排除了特权仿真器信息，如接触位置、表面法线、切向方向、物体身份和力向量。这一限制很重要，因为该表示必须能从物理麦克风信号中预测，并且能在不同物体和任务间迁移。同时，它保留了反应式操作所需的关键反馈：指尖是否刚接触物体，是否发生滑动，以及滑动的严重程度。
触觉估计器
我们假设接触开始和滑动在仿真和真实世界的振动声学感知中具有相同的物理含义。在此假设下，我们训练一个触觉估计器，将真实麦克风音频映射到由数字克隆回放流水线生成的接触和滑动标签。
策略学习
我们在MuJoCo仿真中使用PPO对所有五个任务训练一致的策略架构，仅改变场景和任务奖励。每个任务实例化相同的xArm7和LEAP手模型，并对物体摩擦、质量、尺度和姿态进行每集域随机化，因此策略必须依赖接触反馈而非记忆的几何形状。
触觉估计器评估
我们收集两个遥操作数据集来训练和评估触觉估计器，然后再部署策略。固定物体数据集（五小时）包含与刚性安装在桌子上的物体的交互，仅通过机器人运动引起滑动。这产生了多样的接触和滑动事件，但滑动动力学与灵巧操作不同。运动物体数据集（不到两小时）涉及自由移动物体的手内操作，滑动由手指运动、手臂运动和重力引起。我们在固定物体数据上预训练以学习通用的振动声学模式，然后在运动物体数据上微调以匹配部署。我们在保留的运动物体分割上评估所有模型，报告二元接触开始和滑动存在检测的F1分数，以及滑动幅度的MAE，平均四个手指。
我们进一步评估了手指间的参数共享。与VibeAct相比，共享编码器但保持独立预测头会导致接触开始F1降低2.3%，滑动幅度MAE增加1.9%。同时共享编码器和预测头会进一步加剧退化，接触开始F1降低3.7%，MAE增加4.8%。这些结果表明，每个指尖具有不同的接触几何和振动传播特性，需要专门的的特征提取和预测头。
任务性能
我们评估了VibeAct与一个无触觉输入的本体感觉和点云基线（Prop+PC）的对比，并通过逐步添加接触开始、滑动存在和滑动幅度通道来消融触觉表示。我们报告基于3个随机种子训练的100次试验的结果。
消融研究显示，滑动幅度是关键通道，仅添加它就在所有任务中带来了最大的性能提升。单独添加接触开始带来的增益不一致，在某些任务中甚至会降低性能，这可能是因为稀疏的脉冲信号本身对持续的反馈控制信息有限，而滑动存在则提供了中等收益。总之，这些结果表明连续的滑动幅度信号是VibeAct优势的主要来源，提供了接触丰富操作所需的梯度反馈。
我们将仿真训练的策略直接部署在物理平台上，用训练好的估计器替代仿真派生的触觉通道。VibeAct在所有部署的任务上都优于Prop+PC。这些结果表明，完全从真实麦克风录音学习并作为即插即用观测通道的接触-滑动表示，在真实的感知和驱动噪声下仍能保持其优势。
局限性
VibeAct的紧凑接触和滑动表示丢弃了原始振动信号中的信息，如接触位置、表面纹理以及超出滑动幅度的交互动力学；更丰富的表示可能有所帮助，但需要更紧密的仿真到现实的声学对齐。触觉估计器还绑定到固定的硬件配置，如果麦克风位置、手指材料或物体属性发生变化，可能需要重新校准。数字克隆标注虽然无需手动标注，但依赖于准确的物体姿态跟踪，限制了在非结构化场景中的使用。最后，策略将触觉表示视为平坦向量，为建模每个手指接触事件的空间和时间结构的架构留下了改进空间。
网络架构
每个任务和每个触觉变体都使用相同的网络架构，只有动作头的输出维度根据任务动作空间而变化。
奖励函数
组合奖励包含五个部分：
- 攀爬进度：对持有物体世界坐标系z高度新增正值（单向，基于历史最佳值）的奖励
- 每指前进：对每个指尖在物体体轴上下降新值的奖励（单向）
- 保持：每步奖励，与接触指尖数量成正比
- 掉落：如果持有物体掉落超过初始姿态以下阈值的单次惩罚
常见问题解答
VibeAct使用什么传感硬件？ VibeAct使用嵌入灵巧机器人手每个指尖的压电麦克风，在接触和滑动事件期间捕获振动声学信号。
VibeAct如何桥接触觉感知的仿真与现实？ 它训练一个触觉估计器，将真实麦克风信号映射到共享的接触-滑动表示，该表示也用作完全在仿真中训练的强化学习策略的观测通道。
哪些任务用于评估VibeAct？ 该框架在手内重定向和插销插入等接触丰富的操作任务上进行了评估，使用安装在机器人手臂上的灵巧手。
VibeAct性能中最关键的触觉信号是什么？ 滑动幅度是最关键的通道，因为它提供了连续的梯度反馈，在所有测试任务中带来了最大的性能提升。