我们提出了几何动作模型，它在单个共享的GFM内统一了几何与动作预测，并结合了时间世界建模。通过在GFM浅层与深层之间插入因果Transformer，GAM自回归地解码动作和未来几何，解决了传统基础模型基底的空间歧义。在广泛的仿真和真实世界基准测试中，GAM实现了卓越的准确性、更快的推理速度以及对环境扰动强大的分布外鲁棒性。
主要结果
真实世界结果。为了检验仿真中的增益是否迁移到物理执行，我们还在真实环境中评估了GAM。GAM显著优于所有基线。特别是在分布外条件（相机扰动设置）下，其他基线难以应对，而我们的模型保持鲁棒。这些结果表明，GAM得益于在策略训练时对GFM的充分利用，能够泛化到真实世界领域并对扰动保持鲁棒。
推理速度与模型大小
GAM在所有基线中延迟最低，单次前向传播仅需6.9毫秒（约145 Hz），比基于扩散的Cosmos Policy快55倍。所有方法均在相同设置下进行基准测试。通过单次预测，GAM避免了扩散策略的多步去噪过程，实现了低延迟，同时仅用14亿参数就达到了与先前相当的准确性和鲁棒性。
对视角和场景变化的鲁棒性
在LIBERO-Plus基准测试中，GAM在每一级相机扰动下均获得比所有基线更高的成功率，即使在最强扰动下，优势依然明显。
仿真实验细节
我们采用OpenVLA和OpenVLA-OFT建立的LIBERO评估协议。具体来说，我们在四个标准LIBERO任务套件上评估：LIBERO-Spatial、LIBERO-Object、LIBERO-Goal和LIBERO-Long，每个包含10个任务。参照OpenVLA-OFT，我们使用过滤后的LIBERO演示数据进行训练，去除失败片段并过滤空闲/无操作帧。每个LIBERO套件微调一个独立的策略。
我们报告任务执行成功率（SR, %）作为主要评估指标。对于原始LIBERO基准，每个任务在50次随机试验中评估，每个套件共500次运行。对于LIBERO-Plus，我们遵循官方评估设置，每个扰动任务实例进行一次运行。所有模型以全局批量大小160训练最多110k步，直至收敛。
模型大小分解
完整模型中，约9.832亿参数可训练。这些可训练参数大多来自ViT-Giant骨干的后层块，而初始几何层和DPT深度头保持冻结以保留预训练的几何结构。因果未来预测器和轻量级动作头完全可训练，包含剩余的可训练参数。
生成的未来深度图
给定当前RGB观测，GAM预测未来深度图，同时生成与预期未来几何空间对齐的动作。可视化结果展示，GAM能准确预测未来深度及其对应的动作序列。
何时预测动作？
我们还评估了一种直接动作监督变体，该变体将动作损失直接应用于因果未来预测器的输出动作标记，而不经过剩余的深层几何解码器块。将动作标记通过深层几何解码器能带来额外改进，特别是在LIBERO-Plus Object上，表明剩余的GFM层有助于细化动作表示，尤其是在相机扰动下。
注意力分析
多个中间层关注任务相关区域，在操作物体和附近接触区域周围具有明显的显著性。这一定性趋势与层消融实验一致：中层表示保留物体级结构，同时在GFM解码器中保留足够深度以进行动作标记细化。
结论与局限性
我们提出了几何动作模型，它在单个共享的GFM内统一了几何与动作预测，并结合了时间世界建模。通过在GFM浅层与深层之间插入因果Transformer，GAM自回归地解码动作和未来几何，解决了传统基础模型基底的空间歧义。该框架也存在局限性。其语言推理和常识能力受限于冻结的文本编码器；集成大语言模型或外部推理模块是自然的下一步。
常见问题
GAM如何比基于扩散的策略实现更快的推理？ GAM使用单次预测直接输出动作，避免了扩散策略所需的多步去噪过程。这使得推理速度提升55倍，同时保持相当的准确性。
GAM为何对相机扰动和场景变化具有鲁棒性？ GAM利用几何基础模型的结构化空间表示，并在相机扰动下通过深层几何解码器细化动作标记。这使得即使在最强扰动下也能始终优于基线。
GAM用于策略学习的可训练参数占比是多少？ 总参数14亿中约9.832亿可训练。初始几何层和深度头保持冻结以保留预训练的几何结构。
几何动作模型的主要局限性是什么？ GAM的语言推理和常识能力受限于其冻结的文本编码器。集成大语言模型或外部推理模块可以解决这一局限性。