研究人员开发了τ（tau）——一种融合触觉的视觉-语言-动作（VLA）模型。该模型结合摄像头图像、触觉反馈以及对未来视觉状态的预测来学习物体操作。与仅依赖视觉的方法相比，这一方案提升了机器人在插接电缆、按压印章等精密任务中的成功率，让机器人距离人类水平的灵巧操作更近一步。
目录
研究人员构建了什么
研究团队构建了τ，一套将视觉、语言指令和触觉感知融合为单一策略的机器人操作系统。τ的核心是在预训练视觉-语言-动作（VLA）模型基础上进行扩展。这类基础模型能够将图像和文本指令映射为机器人动作；τ则加入触觉编码模块，把触觉传感器采集的信号输入同一潜在空间。
其中一项关键创新，是基于联合嵌入预测架构（Joint Embedding Predictive Architecture，JEPA）的自监督学习分支。在训练过程中，模型根据当前的触觉和视觉输入预测未来的视觉表征，迫使触觉编码器学习表面接触、滑移等具有物理意义的特征。这一预测目标不再需要成本高昂、由人工标注的触觉标签。
为支持训练，团队使用搭载视觉触觉传感器（DM-Tac WS）的Franka Research 3机械臂构建了TacAura数据集，传感器安装在夹爪上。三台RGB-D摄像头从多个角度采集图像。人类操作员通过遥操作控制机械臂，在四项精密任务中分别完成100次示范：插头插入、USB插入、印章按压和白板擦除。该数据集及其采集基础设施将以开源形式发布。
关键结果
在四项真实世界精密任务的测试中，τ的总体成功率达到71.25%。模型在每项任务使用100次示范进行训练，评估时未进行任何针对特定任务的调优。
消融实验显示，以下三个组成部分都对性能有显著贡献：
| 修改项 | 平均成功率变化 |
|---|---|
| 完整τ模型 | 71.25%（基线） |
| 移除动作序列条件 | –12.5个百分点（降至58.75%） |
| 移除触觉编码模块 | 未单独报告，但移除触觉后性能下降 |
| 移除JEPA预测分支 | 未单独报告，但自监督学习至关重要 |
动作序列条件机制——预测一连串未来动作，而非单个动作步骤——带来的影响最大。移除该机制后，插头插入任务的成功率下降5个百分点，USB插入下降10个百分点，印章按压下降15个百分点，白板擦除下降20个百分点。需要精细力控制的任务（印章按压和白板擦除）受失去时间上下文的影响最明显。
在零样本泛化测试中，面对未见过的物体变体（不同的USB存储设备和橡皮擦）以及视觉杂乱环境，τ无需额外训练也能完成任务。这表明，触觉信息有助于模型适应新的工作条件。
工作原理
τ架构由三个协同工作的模块组成，共同构成一个端到端策略。
1. VLA骨干网络： 基于预训练视觉-语言-动作模型，处理RGB图像和自然语言指令，并输出关节位置目标。在触觉训练期间，骨干网络保持冻结，以保留其通用知识。
2. 触觉编码与适配： DM-Tac传感器采集的触觉图像（分辨率为320×240，帧率为40 FPS）会经过轻量级编码器，被映射到与视觉特征相同的嵌入空间。一个小型适配器网络连接触觉编码器与冻结的VLA骨干网络，使梯度能够反向传播，从而让触觉表征逐渐学会服务于动作预测。
3. JEPA预测分支： 在训练期间，辅助网络接收当前的触觉嵌入和视觉潜在编码，并尝试预测未来视觉观测的潜在编码（约提前0.5–1秒）。损失在表征空间而非像素空间中计算，因此能够促使触觉编码器捕捉那些可以预测未来视觉变化的接触动力学，例如物体移动和形变。该分支仅在训练阶段启用；推理时，触觉和视觉输入会直接流入动作解码器。
训练时每项任务使用100次示范，批次大小为32，动作预测时域为32步，学习率采用峰值为5e-5的余弦调度。模型在两块NVIDIA A800 GPU（每块80GB）上训练30,000步，每2,000步保存一次检查点。
这对机器人技术意味着什么
目前多数机器人学习系统几乎完全依赖视觉，但当物体被遮挡、具有透明表面，或任务要求精确控制接触力时，视觉往往会失效。τ证明，将触觉感知与一种自监督训练信号结合起来——通过预测未来视觉状态——能够显著提升机器人在高接触任务中的表现。
对于工业应用而言，这意味着机器人可以更可靠地完成装配、插入和表面交互任务。开源的数据采集基础设施也降低了其他实验室采用触觉增强训练方案的门槛。评估待售二手协作机器人或二手工业机器人的采购人员和工程师应注意：为现有硬件加装触觉传感器，并结合现代VLA模型，可能无需彻底重新设计自动化系统，就能扩展机器人的能力。
零样本泛化结果还显示出更可靠部署的潜力：机器人无需重新训练，就能处理新的零部件或杂乱的工作空间。这与制造业迈向柔性生产的趋势相一致，即由一台机器人执行多种任务。
局限性与待解决问题
实验仅使用了一台机器人机械臂（Franka Research 3）和特定的触觉传感器（DM-Tac WS）。这种方法能否迁移到其他机器人平台、夹爪类型或触觉传感技术，仍有待验证。数据集目前只覆盖四项任务，每项任务包含100次示范；若要扩展到数百项更加多样化的任务，就需要进行大量额外的数据采集。
JEPA预测分支目前只针对较短的时间范围进行训练（约0.5–1秒）。对于包含较长接触事件序列的任务（例如多步骤装配），可能需要延长预测时域。此外，模型当前使用32步的动作时域（按照典型控制频率约为2秒），但要求精确力控的动作也许会受益于更高的时间分辨率。
常见问题
τ是否需要昂贵的触觉传感器？ 不需要。它使用的是基于视觉的触觉传感器，这类传感器可以由低成本摄像头和硅胶垫构成。论文采用的DM-Tac WS体积小巧，并且已经实现商业化。
τ需要多少次示范才能学会一项新任务？ 论文为每项任务提供了100次专家示范。这比一些强化学习方法需要的示范更多，但少于许多需要数千次试验的端到端学习方法。
没有触觉夹爪的标准机械臂能使用τ吗？ 触觉模态是τ取得良好性能的关键。没有触觉输入，模型会失去接触信息，成功率将显著下降，尤其是在需要力控制的任务中。
TacAura数据集现在可以获取吗？ 作者表示，数据集和数据采集基础设施将以开源形式发布。目前尚未公布具体发布日期，但这属于该研究的贡献之一。
结论
τ提供了一种切实可行的方法：利用对未来视觉状态的自监督预测，在无需昂贵标签的情况下，将触觉感知加入视觉-语言-动作模型。该模型在精密操作任务中取得71.25%的成功率，并能泛化到未见过的物体，为工业装配和灵巧交互领域更强大的机器人指明了方向。
自监督触觉学习，是否可能正是通用机器人在非结构化环境中实现灵巧操作所缺少的关键环节？