一种名为 VERITAS 的新框架将通用机器人策略与无需梯度的视觉验证器配对，在推理时评估动作，使机器人能够引导自身行为，并基于自身轨迹改进，无需人工反馈。
目录
研究人员构建了什么
研究人员开发了 VERITAS，一个用于通用机器人策略的生成器-验证器框架，支持两种能力：推理时的动作引导和自主策略改进。该系统将任何预训练的通用机器人策略（"生成器"）与一个独立的"视觉验证器"配对——该模型仅使用视觉输入评估提议动作的正确性。验证器无需任何梯度计算，因此轻量且与现有策略兼容。
在推理时，验证器对生成器提出的多个候选动作进行评分，并选择最佳动作，使机器人无需任何微调即可避开次优动作。相同的已验证轨迹随后用作训练数据，通过离线学习改进生成器本身。这形成了一个自持循环：机器人执行动作，验证动作，从好的动作中学习，并在下一次尝试中改进。
该框架专为需要机器人无需人工监督即可适应的实际部署而设计。通过仅依赖视觉反馈，VERITAS 消除了对人工标记奖励、偏好标注或在线环境重置的需求。
关键结果
VERITAS 在多个操作任务上持续优于未经任何验证或引导的 vanilla 通用策略。改进仅来自推理时验证，无需额外训练或数据收集。
当研究人员使用自身已验证的轨迹微调生成器策略时，性能增益得以保持甚至放大。关键的是，在自生成的已验证轨迹上微调的模型达到了与在专家演示上训练的模型相当的效率水平——但无需任何人工干预或演示。
结果表明，推理时验证不仅仅是一次性修复，而是部署过程中可扩展的持续改进机制。该框架在重复的自训练循环中不会降低策略性能，表明其具有稳定的自我改进能力。
工作原理
VERITAS 分两个阶段运行：推理时引导和离线策略改进。
推理时引导：在每个时间步，生成器策略产生多个候选动作（例如通过采样或随机前向传播）。视觉验证器以当前观测和每个候选动作为输入，输出一个分数，指示该动作成功的可能性。机器人执行得分最高的动作。验证器是一个无需梯度的模型——它不需要反向传播，因此运行速度快，可与任何生成器一起使用。
离线策略改进：在部署会话后，机器人拥有一个包含观测和实际执行的已验证动作的数据集。这些"已验证轨迹"作为正例，用于生成器的离线微调。策略使用标准行为克隆或离线强化学习进行更新，但数据是自生成和自验证的。无需人工标签、手工编码的奖励函数或环境重置。
视觉验证器本身仅从一小部分演示数据（例如图像上的成功/失败标签）训练一次。之后，它无需重新训练即可泛化到新任务和场景。由于它使用视觉特征而非本体感觉信号，因此即使在机器人操纵不同物体或表面时也能工作。
整个流程设计为模块化：生成器和验证器可以独立交换，验证步骤增加的最小延迟在每个动作几毫秒的量级。
为什么这对机器人技术很重要
在现实世界中部署通用机器人策略的最大障碍是所谓的"仿真到现实差距"以及部署后无法适应。VERITAS 无需昂贵的人工反馈或手动数据收集即可解决这两个问题。
对于运行仓库机器人车队或二手工业机器人的运营经理和工程师而言，这意味着机器人可以在安装后逐渐提高其在特定任务上的性能——拾取新物体、在杂乱区域导航、适应光照或设置变化——而无需呼叫机器人团队。
对于构建人形机器人或通用助手的开发者而言，该框架提供了一条实用的持续学习路径：让机器人尝试、验证和改进。它减少了对高质量专家演示的需求，并使自我监督改进成为现实。
VERITAS 将重点从收集更多数据转移到更好利用机器人自身生成的数据——这是一种更可扩展且更具成本效益的现实世界机器人技术方法。
局限性与开放问题
视觉验证器的性能取决于其训练数据的质量和多样性。如果验证器未见过某些故障模式，它可能错误地评分动作。这可能导致对不安全动作的过度自信或拒绝有用的探索性动作。
该框架还假设生成器能够产生多样化的候选动作。如果策略坍缩到单一模式（例如由于确定性推理），引导将无效。未来的工作需要确保稳健的候选生成。
此外，离线微调步骤目前是在部署后批量进行的。尚不支持单个回合内的实时或连续学习。最后，论文未解决安全保证问题——当验证器在自训练期间持续遗漏某种故障模式时会发生什么，仍是一个开放问题。
常见问题解答
VERITAS 是否需要任何人工标注的数据？ 是的，训练视觉验证器需要一小部分图像上的成功/失败标签，但这只是一次性成本。生成器策略本身在初始训练后再也不需要人工演示。
我可以将 VERITAS 用于现有的机器人策略吗？ 如果您的策略每个时间步能产生多个候选动作，并且您可以访问摄像头，则可以将它接入 VERITAS。验证器是模型无关且无需梯度的。
VERITAS 适用于哪些类型的机器人？ 该框架在机械臂上进行了演示，但它可泛化到任何使用视觉观测并具有连续或离散动作空间的机器人——包括移动机械手和足式机器人。
推理时验证会使机器人减速多少？ 验证器每个动作仅增加几毫秒，因此对于大多数实时控制循环而言可以忽略不计。主要成本来自从策略生成多个候选动作，这可以并行化。
结论
VERITAS 提出了一种实用的方法，使通用机器人策略能够通过轻量级视觉验证器在推理时改进性能，并在无需人工帮助的情况下从自身已验证的经验中学习。该框架从自生成数据达到专家级效率，使自我改进机器人成为部署的现实目标。
训练一个能泛化到全新任务和环境的视觉验证器的最佳方法是什么？