SLA 是一种通过持续预训练，旨在连接空间线索、语言与动作的机器人策略。在仿真和真实环境测试中，研究人员评估了它应对视觉变化、厨房作业、双臂任务以及三种机器人本体的表现，为判断同一个学习系统能否迁移到单一设置之外提供了实际测试。
目录
研究人员构建了什么？
研究人员构建了 SLA，即 Spatial-Language-Action（空间-语言-动作），这是一种旨在让机器人在同一系统中运用视觉信息、指令和动作的机器人策略。它并非针对每个基准都从头训练，而是从预训练策略初始化，再继续进行预训练，然后针对特定任务进行适配。这种适配称为后训练，它利用任务示范数据，为特定机器人或评估任务调整模型。
评估涵盖仿真和实体环境。在仿真中，SLA 接受视觉与语言扰动、双臂操作和厨房任务方面的测试。在实体机器人基准中，同一个联合后训练模型在三种机器人本体上接受测试：ARX X5、Piper 和 Piper X。作者还介绍了若干真实环境部署任务，用于测试协调能力、泛化能力、对不同机器人本体的适配能力以及指令遵循能力。
这项工作的方案针对一个实际矛盾：通用机器人策略需要具备广泛技能，但部署到特定作业中的机器人仍需要针对性适配。SLA 的训练流程结合了这两个阶段——先通过持续预训练得到通用模型，再进行针对基准或部署场景的后训练。
SLA 取得了哪些结果？
目前提供的结果显示，SLA 在 RoboCasa-Panda 的若干单项任务上表现出色。在 CloseDrawer 任务中的成功率为 97.3%，在 OpenDoubleDoor 任务中为 95.3%，在 TurnOnMicrowave 任务中为 93.3%。这些示例涉及关节物体交互和家电操作，而不只是简单的物体抓取。RoboCasa-Panda 包含 24 项厨房任务，每项任务使用三个评估随机种子进行测试，每个种子进行 50 次试验。
其他基准旨在衡量不同方面的能力。LIBERO-Plus 评估模型应对七类变化的鲁棒性，其中包括相机、机器人、语言、光照和物体布局的变化。RoboTwin 2.0 对比干净条件下的表现与场景随机化后的表现。RoboDojo-Real 则在三种实体机器人上同时衡量 0–100 分制的任务部分进度和完整任务成功率。
已提供的结果没有报告这些基准的整体成功率，也没有给出与其他策略的数值对比。因此，RoboCasa 的单项任务数据展现了 SLA 表现出色的场景，但不足以确定整体排名，也不能证明持续预训练优于其他训练方法。
SLA 如何工作？
SLA 的训练分为两个主要阶段。首先，研究团队从已有的预训练策略继续进行预训练。该阶段旨在基于已经训练过的模型进一步构建能力，而不是从零开始教授所有技能。其次，研究团队利用目标任务的示范数据，针对某个基准或部署场景对模型进行后训练。不同基准设置的训练步数和批次大小各不相同，因此这些训练过程并非完全相同。
在部分真实环境测试片段中，策略还会接收一段简短的视觉历史。记忆内容包括初始场景帧，以及此前八秒内每秒一帧，并按从最早到最新的顺序排列。初始帧在整个任务过程中都会保留，以记录原始场景布局；后续帧则提供近期动作和任务进度的信息。开始后的前八秒内，尚不可用的历史帧会用初始帧的副本填充。腕部相机提供当前图像，保存的历史帧则来自主相机。
部分基准的评估规模相当可观，但试验次数衡量的是模型接受测试的广度，而非成功次数。下表总结了文中说明的测试流程。
| 基准 | 训练与评估设置 | 说明的评估规模 |
|---|---|---|
| LIBERO-Plus | 标准 LIBERO 示范数据；测试七个扰动维度 | 10,030 次 rollout |
| RoboTwin 2.0 | 50 项任务；每项任务 50 个干净场景示范；干净和随机化设置 | 每种设置下每项任务 100 次试验 |
| RoboCasa-Panda | 24 项任务；每项任务 50 个示范；三个评估随机种子 | 3,600 次试验 |
| RoboDojo-Real | 18 项任务，覆盖 ARX X5、Piper 和 Piper X | 每种机器人本体六项任务 |
后训练的步数从 LIBERO-Plus 和 RoboTwin 2.0 的 30,000 步，到 RoboCasa-Panda 的 60,000 步不等。RoboDojo-Real 使用 40,000 步，而真实环境部署实验使用 20,000 步。这些细节有助于了解各项评估投入的训练量，但仅凭这些信息无法得知持续预训练阶段所需的数据量或计算资源。
SLA 对机器人技术为何重要？
许多机器人部署场景都很单一：模型针对一个工作站、一种相机布局或一条机械臂训练，却常在周围环境变化时表现不佳。SLA 的评估计划直接针对这一问题。它在仿真中测试视觉和语言扰动、随机化场景、纳入双臂任务，并测量同一个模型在不同实体机器人本体上的表现。对于机器人操作人员来说，这些都是切合实际的压力测试，因为部署条件很少能始终保持完全不变。
如果同一个策略能够适配不同硬件，而无需每次都重建整套系统，那么跨本体训练就尤其有用。报告中的 RoboDojo-Real 设置在三种机器人上测试了这一可能性，不过现有结果不足以量化迁移带来的收益。记忆近期相机帧也是一种实用的设计选择：操作任务往往需要知道哪些东西发生了移动，而不只是场景一开始是什么样子。
SLA 并非开箱即用的产品，基准结果也无法回答采购决策中的一些问题，例如周期时间、长时间轮班作业的可靠性或集成成本。不过，在比较自动化方案时，买家可以将这项工作作为有益参考，同时考虑待售二手机器人以及让不同平台执行灵活任务所需的软件。
有哪些局限和待解问题？
报告的单项任务成功率令人鼓舞，但并未展现 SLA 在全部四个基准上的整体表现。目前提供的结果也没有基线对比，因此无法据此评估相较于初始预训练策略或其他方法的提升。这使人难以判断报告中的结果究竟来自持续预训练、后训练数据、模型设计，还是这些因素的共同作用。
实体机器人评估涵盖三种机器人本体和一些特定真实环境任务，并不代表所有机器人配置或运行环境。要评估其可重复性、故障恢复能力、速度及长时间运行表现，还需要更多证据。论文介绍了记忆帧策略和基准训练安排，但现有材料未说明持续预训练语料、数据规模或计算成本。在判断这种方法能否复现并以合理成本部署时，这些信息都很重要。
读者常问 SLA 哪些问题？
SLA 是什么的缩写？ 它代表 Spatial-Language-Action，指空间信息、语言指令和机器人动作的结合。
SLA 能在真实机器人上运行吗？ 评估包括实体部署，以及涵盖 ARX X5、Piper 和 Piper X 机器人的真实环境基准。
SLA 如何应对场景变化？ 测试包括相机和布局变化、环境随机化，以及有助于追踪近期任务进度的简短视觉历史。
SLA 的表现胜过其他机器人策略吗？ 现有结果仅包含部分任务的成功率，没有对比基线分数，因此无法证明它整体胜出。
实际启示是什么？
SLA 将持续预训练与任务特定适配结合起来，并在多种仿真和实体操作场景中评估由此得到的策略。它在部分厨房任务中表现出色，但要判断它在多大程度上提升了真实环境中的机器人表现，还需要更全面的对比和部署细节。
对于部署而言，哪一点更重要：一个策略适用于多种机器人本体，还是在特定任务上取得更好的结果？