同一个 DyPES-VLA 检查点在 RoboTwin 上达到 89.02%，在人形机器人基准测试中达到 59.25%，在 LIBERO 上达到 98.0%；尽管这些机器人拥有不同的机身结构和动作空间。该系统将基于视频的未来状态预测与针对不同机器人形态的控制头结合起来，让一个策略既能形成通用的操作理解，又能保留各类机器人所需的底层控制指令。
目录
研究人员构建了什么？
DyPES-VLA 是一种视觉-语言-动作系统，旨在通过单个训练好的检查点控制不同形态的机器人。这里的“形态”指机器人的物理结构和控制接口，例如双臂机器人、人形机器人或单臂机械臂。这些平台在关节数量、运动范围、夹爪布局以及发送给电机的动作格式等方面各不相同。
该系统将操作任务中可以共享的部分，与必须针对具体机器人保留的部分分离开来。共享的视觉表征学习物体、手、机械臂和环境如何随时间变化等通用信息；独立的动作组件则把这些共享信息转换为适合每种机器人的控制指令。
训练分为两个阶段。首先，系统从大量没有动作标签的视频中学习。这些视频包括来自 EgoDex 的第一视角人类操作视频，以及为联合训练所使用的机器人形态生成的模拟演示。第一阶段训练视觉-语言模型、用于提取任务相关信息的查询令牌，以及用于预测未来视觉状态的 SANA 头。
第二阶段利用已学习到的表征，在多种机器人形态上训练策略。针对具体形态的混合专家动作头负责处理每个机器人的原生控制空间，而形态元数据则告诉系统，某个输入来自哪种机器人以及哪类数据源。
关键结果是什么？
在三项模拟基准测试中，同一个 DyPES-VLA 检查点达到或超过了表中所列最强方法的表现。测试对象包括一台 14 自由度双臂机器人、一台 29 自由度人形机器人，以及一台 7 自由度单臂机器人。
| 基准测试 | 机器人形态 | DyPES-VLA 结果 | 对比 |
|---|---|---|---|
| RoboTwin 2.0，标准环境 | 14 自由度双臂机器人 | 88.78% | 比 Qwen-VLA 高 2.68 个百分点 |
| RoboTwin 2.0，随机化环境 | 14 自由度双臂机器人 | 89.26% | 比 Qwen-VLA 高 2.06 个百分点 |
| RoboTwin 2.0，平均值 | 14 自由度双臂机器人 | 89.02% | 比 Qwen-VLA 高 2.37 个百分点 |
| RoboCasa-GR1 | 29 自由度人形机器人 | 59.25% | 高于 ABot-M0 的 58.3% 和 Qwen-VLA 的 56.7% |
| LIBERO | 7 自由度单臂机器人 | 98.0% | 高于 Fast-WAM 的 97.6% 和 OpenVLA-OFT 的 97.1% |
消融实验中，影响最大的是移除未来预测模块。移除后，RoboTwin 2.0 上的性能下降 2.4 个百分点，RoboCasa-GR1 上下降 2.5 个百分点。仅移除第一阶段预训练，也会导致三个基准测试的结果全部下降，说明无动作标签的视频学习带来的贡献不只是简单的参数初始化。
在 LIBERO 上，DyPES-VLA 仅比经过微调的最佳 X-VLA 结果低 0.1 个百分点。这个结果很重要，因为 DyPES-VLA 使用的是一个跨形态检查点，而不是为每项基准测试分别训练的专用模型。
DyPES-VLA 如何工作？
DyPES-VLA 要解决的是两个不同的学习问题：理解操作过程中的动态变化，以及为特定机器人生成有效指令。共享部分主要负责前者，针对具体形态的动作头则负责后者。
在第一阶段，模型接收视频序列，并学习未来预测目标。这个阶段不需要动作标签。模型不只是识别当前画面，还要学习表征交互发生后场景可能如何演变。对操作任务而言，这类信息可以包括物体是否正在被抓取、工具如何移动，或手与物体之间的关系如何变化。
训练数据由人类第一视角视频和来自联合训练机器人形态的模拟视频组成。人类视频提供广泛的操作行为示例，模拟数据则提供与目标机器人及其环境直接相关的信息。视觉-语言模型、查询令牌和 SANA 头会共同进行预训练，使最终得到的表征能够捕捉与任务相关的视觉和时间信息。
在第二阶段，该表征支持不同机器人数据集上的动作学习。混合专家（MoE）动作头会将控制预测分配给与相关机器人形态对应的专家。这样，7 自由度机械臂的动作格式就不会被错误地当作与 29 自由度人形机器人的格式可以直接互换。
形态元数据提供了另一种线索。它标识出某个观测对应的机器人或数据源，帮助模型区分那些视觉情况相似、但所需电机输出完全不同的场景。因此，共享表征负责处理通用的操作知识，而被选中的专家则将这些知识转换为目标机器人的原生动作空间。
这对机器人技术为何重要？
大多数机器人学习系统都面临一个艰难的权衡。专用策略可以充分利用某一机器人的具体特性，却很难迁移到其他平台；通用策略可以在整个机器人集群之间共享数据和能力，但不同机身结构与动作空间可能造成相互干扰：同一种视觉场景，可能对应完全不同的关节控制指令。
DyPES-VLA 提供了一种应对这一权衡的实用架构。制造商或机器人运营方可以保留一个用于感知和操作知识的共享模型，同时为每个平台挂接相应的控制专家。这种方式有望减少重复训练，并提高不同机器人数据的利用价值。
对于同时使用机械臂、人形机器人和移动操作系统的机器人集群而言，这项成果尤其值得关注。正在评估人形机器人产品的 Robot Overflow 用户可以把人形机器人视为更大策略生态中的一种形态，而不是孤立的平台。同样，比较待售二手协作机器人的运营方，也可能从这类策略中受益：它既能保留共享技能，又能适配不同的关节布局和控制器接口。
这项工作还凸显了视频数据的价值。与经过精确同步的机器人演示相比，无动作标签的人类视频更容易大规模采集，因此，未来预测可能成为扩展机器人操作知识的一条高效路径。
有哪些局限与待解问题？
目前报告的结果来自模拟基准测试，因此尚不能说明 DyPES-VLA 在真实传感器、接触不确定性、标定误差、硬件磨损或意外物体面前的表现。与许多实际生产环境相比，模拟环境通常还拥有更清晰的形态元数据和更一致的动作接口。
现有结果没有报告推理延迟、内存需求、训练成本，或每种机器人形态所需的数据量。这些因素将决定共享检查点能否在计算资源受限的机器人电脑上实际部署。
未来还需要检验：当加入一台联合训练中未包含、且只有少量数据的新机器人时，这种架构能否实现迁移，而不只是支持训练阶段已经出现的机器人形态。另一个待解问题是，在模型管理和相互干扰变得难以控制之前，系统最多可以加入多少个形态专属专家。
常见问题
什么是跨形态操作？
跨形态操作是指学习能够适用于不同机器人身体结构、关节数量和动作接口的操作技能。
DyPES-VLA 与标准机器人策略有何不同？
它将共享的未来预测学习与针对具体机器人形态的动作专家结合起来，而不是强迫所有机器人使用同一种控制输出格式。
为什么要使用没有动作标签的人类视频？
通过未来预测，模型无需为视频中的每一帧都配备电机指令，就能学习操作场景如何变化，从而扩大可用于训练的数据规模。
DyPES-VLA 是否在实体机器人上进行了测试？
报告中的对比涵盖 RoboTwin 2.0、RoboCasa-GR1 和 LIBERO 模拟基准测试；现有结果无法证明其在实体机器人上的表现。
核心结论是什么？
DyPES-VLA 表明，当共享的动态学习与针对具体机器人形态的控制相互分离时，一个策略也能在身体结构差异很大的机器人之间取得出色表现。其最有力的证据，一是多个基准测试中的高分，二是移除未来预测监督后出现的明显性能下降。
机器人集群是否应该采用“一个共享策略 + 多个独立控制专家”的方案？