人类的灵巧性不仅仅依赖于视觉；它从根本上依赖于感知和快速响应细微触觉信号的能力。尽管日常任务如将薄卡片滑入插槽或用钥匙开锁对人类来说轻而易举，但对当前的机器人学习策略而言仍然具有挑战性。掌握这些任务需要触觉反应行为：对触觉信号的即时、闭环电机响应，其速度远超传统的基于视觉的控制回路。
引言
人类的灵巧性不仅仅依赖于视觉；它从根本上依赖于感知和快速响应细微触觉信号的能力。尽管日常任务如将薄卡片滑入插槽或用钥匙开锁对人类来说轻而易举，但对当前的机器人学习策略而言仍然具有挑战性。掌握这些任务需要触觉反应行为：对触觉信号的即时、闭环电机响应，其速度远超传统的基于视觉的控制回路。
训练方案
T-Rex通过三阶段训练方案逐步将大规模人类视觉运动先验迁移到触觉反应的灵巧机器人控制中。
大规模人类第一人称预训练
遵循EgoScale，我们在22,889小时的第一人称人类视频上预训练潜变量和动作专家。潜变量专家从头戴视角观测中学习视觉和语言表示，而动作专家则在统一动作空间中训练重定向的人类手臂和手部运动。这一阶段提供了广泛的语义基础和视觉运动先验，用于无触觉专家的灵巧操纵。
触觉基础机器人中期训练
大规模人类预训练提供了广泛的视觉运动先验，但在机器人可执行的接触动力学方面基础有限。我们通过100小时的远程操作双手操纵数据（同步触觉信号）来弥合这一差距，这些数据围绕多样的运动原语和物体交互组织，以紧凑覆盖接触丰富的行为。此阶段使动作专家适应机器人多视角观测和可执行动作，同时训练触觉专家执行高频去噪作为细粒度修正。
技能特定后训练
在触觉基础中期训练后，T-Rex已展现出零样本接触丰富的操纵能力。对于更复杂或任务特定的技能，我们进一步在约100个任务演示上微调模型，使其适应特定任务要求，同时保留中期训练中获得的触觉反应行为。
实验设置
评估协议与指标
我们在附录F定义的12个触觉反应任务上评估所有方法。每个任务测试16次，物体位置和旋转随机化。我们报告平均任务成功率，对多阶段任务使用基于进度的评分以捕获部分完成。结果在试验间取平均，然后在任务间取平均。
结论
我们使基础操纵策略能够实现可扩展的、触觉反应的灵巧控制。我们介绍了T-Rex，一种混合变换专家（MoT）模型，利用异步触觉修正和动态触觉VAE编码。我们的框架利用通用人类视频预训练，随后在我们新贡献的开源100小时触觉同步灵巧操纵数据集上进行中期训练。在12个真实世界触觉反应任务上进行后训练和评估后，T-Rex相比现有灵巧和触觉感知VLA基线平均成功率提升30%，并显著提高数据效率。
局限性与未来工作
尽管T-Rex展示了强大的性能和数据效率，但它也突出了几个未来研究方向。首先，对于需要精确接触协调和紧密公差的长时域任务（遥操作困难），未来工作可以整合强化学习或基于在线交互的修正。其次，触觉反应操纵仍受硬件瓶颈限制，包括传感器失真、跨设备校准漂移以及缺乏用于全手操纵的密集手掌感知。未来工作可能探索跨异构触觉传感器的统一表示以及更丰富的全手触觉硬件。
我们感谢Sharpa提供其设备的维护更新。我们还感谢松下的Yusuke Kato为部分T-Rex数据集的收集所做的贡献。UC Berkeley作者部分得到了Berkeley人工智能研究人形智能中心（BAIR HIC）的支持。Sapienza大学感谢松下和Sapienza资助RG123188B3EF6A80（CENTS）的支持。我们感谢Alessio Sampieri和Luca Franco（ItalAI S.r.l.）进行富有成果的讨论。
常见问题
T-Rex与现有机器人操纵策略有何不同？ T-Rex使用触觉反应控制，采用混合变换专家模型，以比传统基于视觉的回路更快的速度处理触觉信号，实现实时接触丰富的操纵。
T-Rex需要多少训练数据？ T-Rex采用三阶段训练方案：22,889小时的第一人称人类视频用于预训练，100小时的遥操作双手数据（带触觉信号）用于中期训练，约100个任务演示用于技能特定微调。
T-Rex能执行哪些类型的任务？ T-Rex在12个触觉反应任务上进行了评估，包括精确插入、钥匙转动和卡片滑入，所有这些都需要细粒度触觉反馈和快速电机响应。
触觉反应操纵的主要局限性是什么？ 主要局限性包括传感器失真、跨设备校准漂移以及缺乏用于全手操纵的密集手掌感知，未来的工作旨在解决这些问题。