DeCAL 是一种具身物理约束的灵巧视觉-语言-动作模型，能够有效利用触觉信号完成接触密集型操作。该模型采用由三个协同专家组成的混合 Transformer（Mixture-of-Transformers）架构，分别负责理解、想象与动作生成。三个专家通过联合注意力进行定向知识共享，为连贯且精细的灵巧操作提供隐式引导。自适应视觉-触觉融合机制通过接触感知门控策略动态注入触觉信息，使模型能够在物理交互过程中有选择地强化触觉线索。视觉-触觉潜变量协同想象则通过面向未来的潜变量想象联合建模视觉-触觉动态，为策略注入隐式世界知识。
大量真实世界实验在多种接触密集型灵巧操作任务上对 DeCAL 进行了评估。DeCAL 始终取得当前最优性能，平均成功率比最强基线高出 15% 以上。同时，它保持了高效的实时性能，每个动作块的平均推理延迟仅为 0.27 秒。消融实验验证了各个组件的有效性，也展现了高效利用触觉信息进行灵巧操作的潜力。
本文的主要贡献如下：
- DeCAL 是一个灵巧视觉-触觉-语言-动作框架，将理解、生成与动作统一起来，实现有效的视觉-触觉表征学习。
- 自适应视觉-触觉融合与视觉-触觉潜变量协同想象，促进了接触密集且精细的灵巧操作。
- 通过一系列真实世界实验，验证了该方法的有效性与泛化能力。
机器人系统设置
系统由一对 6 自由度 UR5 机械臂和两只 22 自由度 SharpaWave 五指灵巧手组成。视觉观测由两台腕部相机和一台第一视角相机采集，所有相机均为 Intel RealSense D435。
每个指尖都配备了一枚由 Sharpa 开发的高分辨率视觉触觉传感器，能够在操作过程中对接触动态进行细粒度感知。每枚传感器内部的摄像头都会捕捉物理交互过程中弹性表面的形变。
基于原始触觉图像与视觉-触觉处理算法，触觉信号被表示为三种互补形式：
原始图像
原始触觉观测由每个视觉-触觉传感器内部的摄像头直接采集，用于记录接触模式与弹性表面形变。
合力
每个指尖输出一个 6 自由度力表示，包括三轴方向上的力与力矩。力信号通过预训练回归模型从原始触觉观测中估计得到，从而实现具备力觉感知能力的触觉感知。
形变图
每个指尖通过一个转换模型输出以二维图像表示的形变深度图。每个像素表示触觉表面局部区域的形变深度，从而提供精细的几何接触信息。
模型架构
DeCAL 采用混合 Transformer 架构，在统一框架内整合场景理解、视觉-触觉动态预见与动作生成。该框架由三个专门化 Transformer 专家组成。
理解专家
理解专家基于 Qwen3-VL 构建，以发挥其多模态理解能力。给定语言指令与多视角视觉观测后，输入首先被编码为文本 token 和视觉 token，随后经 Transformer 模块处理，生成通过掩码自注意力与下游专家共享的上下文嵌入。
通过专门的交叉注意力机制，多模态输入被扩展至触觉观测。触觉特征作为键和值，视觉-语言特征作为查询。得到的表示通过残差连接与自注意力特征融合，使模型能够在统一潜空间内联合推理视觉、语言与触觉观测。
生成专家
生成专家通过根据历史交互预测未来视觉与触觉观测，显式建模视觉-触觉动态，形成具备物理约束的多模态世界表征，从而引导下游动作生成。
尽管近年来的视频生成模型在视觉预测方面取得了进展，但将生成式建模直接应用于接触密集型操作仍然具有挑战性，这是因为高频机器人控制对实时性有严格要求。DeCAL 采用并行解码策略生成未来视觉-触觉信息。这种非自回归范式提升了计算效率，同时仍能有效建模未来的视觉-触觉交互。
自适应视觉-触觉融合
触觉特征提取
由于多指形变图包含丰富的几何接触信息，模型将其作为触觉输入。一个共享的、基于 ResNet 的触觉编码器从所有指尖提取触觉特征。提取出的特征经过空间池化并投影为触觉 token，随后通过 Transformer 层进行融合，以捕捉手指之间的交互和全局接触模式。
触觉编码器生成两种互补表示：
- 局部触觉 token，保留用于视觉-触觉交互的精细接触细节。
- 全局触觉 token，概括整体接触状态，用于接触感知触觉门控。
自适应视觉-触觉交叉注意力
为将触觉反馈融入视觉-语言嵌入，模型在每个 Transformer 模块中引入交叉注意力机制。局部触觉 token 作为键和值，Transformer 输入的前缀投影作为查询。
融合后的输出通过残差连接加到模块联合自注意力产生的嵌入上。这样，模型就能在保留原始多模态上下文的同时整合触觉线索。
接触感知门控机制
在灵巧操作中，物理接触通常是间歇性的，只会出现在任务的特定阶段，而非始终存在。如果始终将触觉信号直接注入策略，可能会给动作生成引入偏差，并扰动视觉注意力的分布。
接触感知门控机制能够根据每个时间步接触信息的相关性，自适应地调节触觉输入的权重。
门控输出会先依据学习得到的接触相关性信号对触觉信息加权，再将其融入多模态表示。
视觉-触觉潜变量协同想象
生成专家通过面向未来的潜变量想象，联合建模视觉-触觉动态。给定历史及当前的视觉-触觉观测，模型生成能够捕捉交互底层物理动态的预测潜在表示。
触觉潜变量预测
6 自由度接触力提供了一种紧凑且具有物理意义的接触动态表示，同时捕捉力的大小与力矩信息。在触觉潜变量预测中，每个指尖的力首先通过专用力编码器映射为嵌入，随后由策略网络处理并生成触觉潜变量。
随后，该潜变量可以被解码为不同粒度的表示，包括原始图像、形变图和 6 自由度力向量。这些表示从多个角度刻画触觉动态，为具备物理约束的场景理解与动作生成提供支持。
训练期间，预测的视觉潜变量会直接回归到由未来视觉观测编码得到的 Cosmos VAE 目标。以当前 6 自由度力为条件的触觉潜变量，则通过重建未来原始触觉图像、形变图和 6 自由度力，接受间接监督。
推理时，生成专家联合预测未来视觉与触觉潜变量，为动作生成提供前瞻性上下文。推理过程中省略重建解码器，从而避免不必要的像素空间重建。
推理流程
推理时，DeCAL 将多视角视觉观测、语言指令和触觉输入编码为前缀 token 与中间 token，并由理解专家和生成专家进行处理。
前缀 token 生成的上下文表示会存储在键值缓存中，使后续计算能够高效关注全部历史上下文。随后，包含预测视觉-触觉预见信息在内的中间嵌入会与这些缓存状态融合，形成同时捕捉任务理解和视觉-触觉动态的潜在表示。
最后，模型以当前状态和缓存上下文为条件，通过因子化流匹配迭代生成动作。在单张 NVIDIA RTX 4090 GPU 上运行时，DeCAL 每个动作块的平均推理延迟为 0.27 秒，展现出适用于实时灵巧操作的高效推理能力。
补充生成结果
补充结果中展示了生成的未来触觉形变图。尽管生成的触觉观测无法完美重建精细的形变细节，并且存在一定的局部结构损失，但它们成功保留了与接触相关的信息。
具体而言，高响应区域始终对应指尖与物体的接触区域，为未来接触状态提供了信息丰富的表示。这表明模型捕捉到了触觉交互的底层演化过程，而这已经足以引导下游动作生成。
补充泛化分析
泛化实验在四类未见场景下评估模型：
- 未见过的背景
- 未见过的光照条件
- 杂乱场景
- 未见过的物体
前三种设置主要引入环境层面的扰动，而未见物体设置则引入了物体层面的分布偏移。
DECO 和 ViTacFormer 在训练过程中受益于随机图像增强，这提升了它们应对背景变化、光照变化和中等程度场景杂乱等视觉变化的鲁棒性。
结论
DeCAL 是一种具备物理约束的灵巧视觉-语言-动作模型，能够有效利用触觉反馈完成接触密集型操作。通过在协同框架内统一理解、生成与动作，DeCAL 实现了连贯的多模态推理与精细的灵巧控制。
DeCAL 通过接触感知触觉门控自适应融合视觉-触觉信息，并借助面向未来的潜变量想象建模视觉-触觉动态，为策略赋予隐式世界知识。在真实世界灵巧操作任务上的大量实验表明，该方法具备良好的有效性与泛化能力。
局限性
首先，该方法依赖准确的触觉感知，而触觉感知可能受到传感器噪声、标定误差和模型漂移的影响。这些因素可能导致系统在长期、高负载运行中的性能下降。
其次，遥操作系统无法向操作员提供指尖力反馈。这可能造成接触调整延迟、接触调节不理想，以及触觉感知示范数据质量受限。
此外，当前框架尚未利用大规模视觉-触觉预训练。扩大多样化触觉灵巧操作数据的规模并用于预训练，有望进一步提升模型能力，也是未来研究的重要方向。
致谢
本研究得到国家自然科学基金（62476011）和北京市自然科学基金（L252060）的支持。
作者衷心感谢 Yifan Ye 和 Yunfan Lou 在方法设计方面提出的深入讨论与宝贵反馈。同时感谢 Xiansheng Chen 对硬件搭建提供的支持。
常见问题
什么是 DeCAL？
DeCAL 是一种具备物理约束的灵巧视觉-语言-动作模型，融合视觉、语言与触觉信息，用于接触密集型操作。
DeCAL 如何利用触觉信息？
它通过自适应视觉-触觉融合与接触感知门控，利用形变图、力表示和原始触觉观测。
什么是视觉-触觉潜变量协同想象？
这是一种面向未来的机制，通过联合预测视觉与触觉潜在表示来捕捉物理交互动态。
DeCAL 的推理速度如何？
在单张 NVIDIA RTX 4090 GPU 上，DeCAL 每个动作块的平均推理延迟为 0.27 秒。