我们提出DynaFLIP，一个动力学感知的3D流-语言-图像预训练框架，将运动理解前移至感知阶段。通过基于单纯形的公式——辅以余弦正则化器和对比学习框架来解决优化陷阱——联合对齐图像过渡、语言和3D流，DynaFLIP学习关注控制相关区域的视觉表示。在模拟和真实操作中，DynaFLIP作为可复用的视觉骨干网络表现出强大的迁移能力，并持续优于基线方法，在视觉、空间和语义分布偏移下尤其显著。我们的结果表明，当视觉表示被训练为不仅编码存在什么，还编码世界在动作下如何变化时，机器人泛化能力会得到提升。
DynaFLIP是否学习了动力学感知和控制相关的表示？
实验设置。我们首先验证DynaFLIP的预训练能否产生动力学感知的表示并保留控制相关信息。我们分析在MetaWorld和RLBench上预训练的图像编码器：每个编码器保持冻结，仅在其上训练一个轻量级三层MLP策略，以确保下游性能反映表示质量而非策略容量。
定量和定性结果共同表明，DynaFLIP学习了动力学感知的表示，保留了控制相关信息，并关注对操作至关重要的区域。
实验评估
在本节中，我们通过在模拟和真实世界中的广泛实验来评估DynaFLIP。通过这些实验，我们旨在回答以下问题：
- DynaFLIP是否学习了动力学感知的表示并保留了操作相关的控制信息？
- 与强基线相比，动力学感知的表示是否改进了下游策略学习？
- DynaFLIP能否在分布内和分布外设置下改进真实操作？
- DynaFLIP中的哪些设计选择对其性能最为关键？
相关工作
然而，这两种范式主要从静态数据中学习，因此缺乏动力学感知。这一限制对操作至关重要，因为其成功取决于场景在交互中如何变化，而不仅仅是物体和指令的识别。DynaFLIP通过对齐三种过渡中心模态——图像过渡、语言和3D流——来解决这一差距。这些信号使编码器能够关注控制相关区域，而非视觉上显著但与任务无关的区域。
数据集生成流程
我们遵循TraceForge的统一数据生成流程，并针对我们的设置进行了若干修改。我们的流程将原始视频转换为对齐的图像-语言-3D流三元组。与原始流程相比，我们省略了事件分块和速度重定向，而是直接从每个视频中采样帧，以便在不同帧率收集的数据集之间大致匹配有效时间分辨率，同时保留原始运动时序。
语言指令生成。对于每条采样的轨迹，我们使用视觉语言模型（VLM）生成描述底层操作意图的语言指令。VLM以从轨迹中采样的一小组代表性帧以及提示为输入，要求其以三种形式描述任务：简短祈使指令、详细自然语言描述，以及将任务分解为连续子目标的多步指令。
LIBERO评估
我们在五个LIBERO套件上评估DynaFLIP：LIBERO-90、LIBERO-Goal、LIBERO-Object、LIBERO-Spatial和LIBERO-Long。LIBERO-90包含90个任务，其他四个套件各包含10个任务，每个任务50个演示。
对于视觉输入，我们仅使用第三人称RGB观测，排除夹爪视图图像。图像编码器输出作为扩散策略的视觉条件向量。对于基于CNN的编码器，我们通过对ResNet骨干网络的最终特征图应用全局平均池化来获取全局图像特征。对于基于ViT的编码器，我们将分类令牌与平均池化的补丁令牌连接起来形成图像特征。
语言指令使用相应的文本编码器进行编码（如果可用）。对于R3M、VC-1和DINOv2（它们不提供原生文本编码器），我们使用CLIP文本编码器。CLIP、LIV和DynaFLIP使用分类令牌表示作为句子级语言特征，而SigLIP使用所有令牌嵌入的平均池化。
训练和评估协议。我们的主要LIBERO设置遵循可复用编码器协议：图像和语言编码器均保持冻结，仅训练扩散策略。该设置直接评估每个预训练表示是否能在无需任务特定编码器适应的情况下迁移到下游策略学习。作为额外比较，我们还报告了LoRA设置，该设置将两个编码器与扩散策略联合调整。
对于每个LIBERO套件，我们使用该套件的演示训练一个单独的扩散策略，并在相应套件上评估。每种方法训练200个epoch。每20个epoch，我们使用每个任务20次 rollout 评估策略。然后选择训练过程中的最佳检查点，并报告其平均 rollout 成功率。
广义单纯形体积
对于一个 n 模态元组，令 v_i 为 L2 归一化的模态嵌入，并定义 e_i = v_i - v_n 为单纯形边向量。令 G 为单纯形边向量的Gram矩阵。广义单纯形体积定义为 Vol(S) = sqrt(det(G))。较小的值表示模态嵌入在共享潜在空间中形成较低体积的配置，反映了跨模态更强的联合对齐。在DynaFLIP使用的三模态设置中，该量简化为公式(1)中定义的三角形面积，我们在后续分析中专注于这种情况。
为什么仅靠单纯形体积不够
我们分析三模态情况下的单纯形体积对齐，其中目标简化为公式(1)中定义的三角形面积。这种设置使我们能够表征对齐梯度，并揭示两个关键限制：低体积配置的模糊性和冲突的对齐梯度。
低单纯形体积并不一定意味着所有模态之间的成对对齐。即使某些模态对仍然相距甚远——例如，当嵌入子集坍缩在一起，或所有嵌入变得几乎共线时——单纯形体积也可能消失。
例如，我们在三模态情况下说明这一点。考虑 R² 中的单位向量。
结论
我们提出DynaFLIP，一个动力学感知的3D流-语言-图像预训练框架，将运动理解前移至感知阶段。通过基于单纯形的公式——辅以余弦正则化器和对比学习框架来解决优化陷阱——联合对齐图像过渡、语言和3D流，DynaFLIP学习关注控制相关区域的视觉表示。在模拟和真实操作中，DynaFLIP作为可复用的视觉骨干网络表现出强大的迁移能力，并持续优于基线方法，在视觉、空间和语义分布偏移下尤其显著。我们的结果表明，当视觉表示被训练为不仅编码存在什么，还编码世界在动作下如何变化时，机器人泛化能力会得到提升。
常见问题
DynaFLIP在预训练期间如何对齐三种不同模态？ DynaFLIP使用基于单纯形的对齐公式，该公式在共享潜在空间中联合最小化由图像过渡、语言和3D流嵌入形成的体积，并辅以余弦正则化器和对比学习框架。
DynaFLIP与现有的机器人视觉-语言预训练方法有何不同？ 与在静态数据上训练的方法不同，DynaFLIP通过将对齐过渡中心模态（图像过渡和3D流）与语言相结合，明确纳入动力学感知，关注控制相关区域而非视觉上显著但任务无关的区域。
DynaFLIP在真实操作中的分布偏移下表现如何？ 与基线相比，DynaFLIP在视觉、空间和语义分布偏移下表现出特别显著的增益，展示了在分布外设置中部署时的强大泛化能力。
仅使用单纯形体积进行模态对齐的失败模式有哪些？ 低单纯形体积可能发生在某些模态对仍然相距甚远的情况下，例如当嵌入子集坍缩在一起或所有嵌入变得几乎共线时，导致对齐模糊。