我们提出 DenseReward，一种用于机器人操作的密集视觉语言奖励模型。该方法包含三个组成部分：一个自动数据生成管道，用于生成具有相位感知密集奖励标签的轨迹；通过目标扰动创建多样化失败轨迹的失败合成；以及基于成功和失败轨迹混合训练得到的 DenseReward 模型，用于估计细粒度任务进度。
方法
我们提出 DenseReward，一种预测机器人操作密集奖励的视觉语言奖励模型。我们的方法包含三个组成部分：一个自动数据生成管道，用于生成具有相位感知密集奖励标签的轨迹；通过目标扰动创建多样化失败轨迹的失败合成；以及基于成功和失败轨迹混合训练得到的 DenseReward 模型，用于估计细粒度任务进度。
失败合成
基于自动数据生成管道，我们合成具有密集奖励的失败轨迹。
DenseReward 训练
数据集。 基于我们的自动数据生成管道，我们构建了一个包含 27000 条成功和失败轨迹的密集奖励数据集。该数据集涵盖多种仿真和真实世界来源，包括：来自 DROID 的真实世界成功和失败片段、来自 RoboSuite 的仿真操作轨迹，以及来自 Isaac Sim 的仿真操作轨迹。数据集涵盖超过 60 种不同操作对象的多样化操作场景。我们将数据集划分为训练集和测试集，用于模型训练和评估。
结论
我们提出 DenseReward，一种用于机器人操作的密集视觉语言奖励模型。我们开发了一个自动仿真管道，用于生成具有相位感知密集奖励的轨迹，并通过目标扰动进行失败合成。DenseReward 能够捕获细粒度任务进度、部分完成情况和常见失败模式。DenseReward 在密集奖励预测方面优于通用视觉语言模型和现有机器人奖励模型，并为下游强化学习提供有用的奖励指导。我们希望我们的数据集、模型和评估套件能够支持未来关于机器人操作可扩展奖励学习的研究。
局限性与未来工作。 我们计划将这项工作扩展到更复杂的操作，如工具使用和长时域任务。未来的方向还包括将人类偏好反馈纳入奖励学习过程，使密集奖励模型更通用、更可扩展，并与真实世界机器人学习的人类期望对齐。
常见问题
DenseReward 如何生成密集奖励的训练数据？ 它使用一个自动仿真管道，生成具有相位感知密集奖励标签的轨迹，涵盖超过 60 种不同操作对象的成功和失败案例。
DenseReward 使用了哪些类型的失败轨迹？ 失败轨迹通过在仿真中进行目标扰动合成，创建了奖励模型需要识别的多样化失败模式。
27000 条训练数据来自哪些来源？ 数据集包括来自 DROID 的真实世界片段，以及来自 RoboSuite 和 Isaac Sim 的仿真轨迹，涵盖成功和失败案例。
DenseReward 相比其他方法表现如何？ DenseReward 在密集奖励预测方面优于通用视觉语言模型和现有机器人奖励模型，并为下游强化学习提供有用的奖励指导。