LiMA 是一种异步多尺度框架，用于联合生成长期前瞻与机器人动作。它采用双系统架构，在不同时间尺度上协调生成，使机器人能够快速执行，同时不牺牲长时域规划能力。为保持两个系统之间的一致性，LiMA 引入潜空间薛定谔桥耦合机制，将从抽象意图到电机指令的转换建模为连续的概率传输过程，收紧高层想象与低层细化之间的特征耦合。时空自适应调制进一步增强了这一整合，将长期前瞻建立在实时物理观测之上。
LiMA 将远程想象与反应式执行解耦，克服了生成式推理瓶颈。其结合自适应调制的潜空间薛定谔桥机制，确保语义意图与物理动作之间保持紧密的特征对齐。评估结果表明，LiMA 在真实世界任务中表现出竞争力，同时具备适用于实时应用的计算效率。
预备知识
生成式策略的总体目标是建模条件联合概率分布，以预测未来时间范围内同步的动作块。该动作块封装了两条机器人手臂及所有灵巧手指的协调轨迹。
省略的公式定义了用于预测同步未来手臂动作和手指动作的条件联合分布。
实验设置
机器人设置
真实世界评估平台由双臂系统组成，配备两条 6-DoF UR5 机器人手臂，以及两只 22-DoF SharpaWave 五指灵巧手。
多模态感知套件包括三台 Intel RealSense D435 摄像头：一台头戴式摄像头用于采集全局自我中心视角，两台腕部摄像头用于采集局部协调视角。VIVE Trackers 捕捉人类手腕的相对空间轨迹，用于实时控制 UR5 手臂的末端执行器。同时，通过 MetaGlove Pro 手套记录人类手指配置，并通过关节空间运动学重定向流程将其映射到 22-DoF SharpaWave 灵巧手上。
基线与评估协议
LiMA 与四种先进基线方法进行比较：
- Gr00T N1.6 和 InternVLA-A1，两种视觉-语言-动作模型。
- VPP 和 Cosmos-Policy，两种世界-动作模型。
成功率（SR）衡量整体任务完成情况，而进度成功率（PSR）则提供对子任务进展的细粒度衡量。
结论
LiMA 是一种基于异步扩散的框架，用于连接长期想象与高频反应式执行。它通过双系统架构协调 Future Dreamer 与 Motion Refiner，在保留实时响应能力的同时实现长时域前瞻。潜空间薛定谔桥耦合机制进一步将策略意图与干净的执行潜变量对齐。大量真实世界实验表明，LiMA 能够改善复杂的长时域操作，同时保持稳健性与高效的闭环控制。
本研究得到国家自然科学基金和北京市自然科学基金的支持。作者感谢 Xiansheng Chen 对硬件搭建提供的支持，并感谢 Yuqi Cao、Liangwei Hu 和 Liwen Tong 对数学推导提出的宝贵见解和开展的深入讨论。
其他实现细节
潜在令牌布局
遵循 Cosmos-Policy 的潜张量约定，LiMA 使用五维潜张量表示多模态信息。每个潜张量的组织方式如下：
省略的公式规定了五维潜张量中多模态信息的组织方式。
机器人系统设置
真实世界机器人系统包括系统运行流程、示范采集和策略执行协议。实验平台由两条 UR5 机器人手臂、两只 SharpaWave 五指灵巧手、三台 Intel RealSense D435 摄像头、VIVE Trackers 以及 MetaGlove Pro 手套组成。
感知系统
三台 RealSense D435 摄像头提供一个全局视角和两个局部腕部视角。头戴式摄像头捕捉整体任务场景，包括目标物体、操作工作空间和任务进度。两台腕部摄像头安装在左右机器人手臂末端执行器附近，用于提供接触区域周围的局部视觉观测。
所有摄像头均在实验前固定，以确保同一机器人工作空间内的多视角观测保持一致。
示范采集
在人工示范采集期间，操作员使用 VIVE Trackers 记录双手腕的相对空间轨迹。这些轨迹经过变换后，被映射为两条 UR5 手臂的末端执行器参考轨迹。
MetaGlove Pro 手套记录双手的手指关节配置。通过关节空间运动学重定向流程，将这些配置映射到 22-DoF SharpaWave 灵巧手上。
这一过程生成同步的双臂轨迹、双手关节轨迹、多视角视觉观测以及语言任务指令。
策略执行
在策略执行期间，每个策略根据当前观测生成一个短时域动作块。预测的动作块包含两条 UR5 手臂的运动指令，以及左右 SharpaWave 灵巧手的关节指令。
在每次真实世界试验前，实验场景都会重置为预定义的初始状态，包括机器人初始姿态和相应的任务指令。所有方法均在相同的机器人平台、摄像头配置、任务初始化协议和成功标准下进行评估。这确保 LiMA 与基线方法之间的比较主要反映策略设计上的差异，而非硬件条件或评估设置的差异。
基线设置
LiMA 与具有代表性的基线方法进行比较，这些基线涵盖集成式世界-动作建模、视觉-语言-动作建模以及基于视频预测的策略学习。所有基线均在与 LiMA 相同的真实世界机器人平台、摄像头配置、任务初始化协议和成功标准下进行评估。
对于每种基线方法，在适用的情况下，均遵循其原论文推荐的训练或微调协议。动作输出经过适配，以匹配相同的双臂灵巧机器人执行接口。
Cosmos-Policy
Cosmos-Policy 作为集成式世界-动作建模基线使用。它将机器人动作映射到视觉潜空间，并在统一的基于 DiT 的去噪过程中联合对动作潜变量和图像潜变量进行去噪。
Cosmos-Policy 是与 LiMA 最接近的集成式生成基线，因为两种方法都在共享的生成框架内对未来视觉信息和机器人动作进行建模。
GR00T N1.6
GR00T N1.6 作为具有代表性的先进视觉-语言-动作基线使用。它将机器人视觉观测和语言指令作为输入，交由视觉-语言模型进行语义理解。以机器人状态为条件的动作头通过去噪过程生成连续动作。
在这一设置下，官方推荐的 2,000 个训练步骤未能充分展现其在双臂灵巧操作任务上的最佳性能。因此，结果是在一块 NVIDIA H100 GPU 上训练 GR00T N1.6 50,000 步后报告的。
VPP
VPP 作为逆动力学模型基线使用。它将视频模型生成的未来视觉预测作为条件信息，并将其输入动作 DiT 以生成机器人动作。
该基线代表了先预测未来视觉状态，再根据预测视觉条件推导动作的范式。
InternVLA-A1
InternVLA-A1 采用 Mixture-of-Transformers 架构，在单一框架内统一场景理解、生成式前瞻和动作建模。该模型学习环境的丰富表示，并利用预测的未来视觉观测来引导动作生成。
为适应双臂双手系统的完整关节配置——包括两条 6-DoF 机器人手臂和两只 22-DoF 灵巧手，共计 56 DoF——动作维度也相应扩展。模型从预训练的 InternVLA-A1-3B 检查点初始化。
公平比较协议
所有基线方法均在相同的真实世界示范数据集上进行训练或微调，前提是任务需要特定训练。它们使用与 LiMA 相同的任务指令、多视角机器人观测、机器人状态输入和评估协议。
由于不同基线方法采用不同的原生动作表示，其输出接口均被适配到相同的双臂执行空间，包括手臂运动指令和灵巧手关节指令。
评估指标
真实世界机器人实验主要使用成功率、进度成功率和推理时间。
成功率
成功率衡量策略能否完成整个任务。对于每次真实世界试验，仅当机器人按照正确顺序完成所有预定义任务目标时，该试验才被视为成功。因此，SR 反映了每种策略最终的任务级成功情况。
推理时间
推理时间评估闭环机器人控制中的实时部署能力。它表示策略根据当前观测生成一个可执行动作块所需的平均时间。
对于同步推理模型，推理时间通过每次完整策略推理的前向传播时间测量。对于 LiMA，Future Dreamer 以较低频率更新，而 Motion Refiner 在高频控制回路中运行。因此，报告的是异步执行下的有效平均推理时间。
具体而言，该时间的计算方式为：将一个异步更新周期内的一次 Future Dreamer 推理时间与所有 Motion Refiner 推理时间相加，再除以该周期内生成的动作块数量。
所有推理时间测量均在相同的机器人平台和执行协议下进行，以确保公平比较。
泛化评估
在未见背景和未见光照设置下，由于这些扰动会直接影响任务区域的视觉外观，LiMA 的成功率波动大于基础设置下的表现。
尽管如此，LiMA 在这些条件下仍优于基线方法。这些结果表明，异步 Dreamer–Refiner 设计以及潜空间意图到执行的耦合，有助于 LiMA 在任务相关和任务无关视觉因素同时受到扰动时保持更强的稳健性。
常见问题
LiMA 用于实现什么？ LiMA 联合生成长期前瞻与机器人动作，同时支持灵巧操作中的高频反应式执行。
评估使用的是什么机器人平台？ 该平台使用两条 6-DoF UR5 手臂、两只 22-DoF SharpaWave 五指灵巧手、三台 Intel RealSense D435 摄像头、VIVE Trackers 以及 MetaGlove Pro 手套。
使用哪些指标评估策略？ 实验使用成功率、进度成功率和推理时间。
LiMA 如何支持实时控制？ 其 Future Dreamer 以较低频率运行，而 Motion Refiner 通过异步执行在高频控制回路中运行。