我们提出了扭曲增强相对进度奖励模型（WARP-RM），这是一种基于视觉的模型，可直接从视觉观察中估计任务密集的每帧进度速度。为了在无需人工标注的情况下训练WARP-RM，我们提出了WARP算法，这是一种完全自监督的方法，利用成功的人类远程操作演示数据集，训练模型预测每帧相对于起始帧的归一化时间增量。时间扭曲视频播放速度及其对应的进度标签提供了强大的自监督信号：以更宽间隔子采样帧模拟更快的执行速度，而以更窄间隔子采样则模拟更慢的执行速度。通过非均匀地变化这种时间扭曲增强，单个演示就能在连续的进度速度范围内提供密集监督。
概述与符号
扭曲增强相对进度奖励模型（WARP-RM）是一种基于视觉的模型，可直接从视觉观察中估计任务密集的每帧进度速度。为在无人工标注下训练WARP-RM，WARP算法采用完全自监督方法，利用成功的人类远程操作演示数据集，训练模型预测每帧相对于起始帧的归一化时间增量。
进度模型训练
相对累积进度目标根据采样索引计算。每帧累积进度伪标签计算为相对于窗口起始点的带符号位移，再除以常数T。这种归一化在 -T 到T 范围内生成合成进度目标，使模型能够学习任务执行的相对节奏。
局限性与未来工作
本研究在加州大学伯克利分校AUTOLAB实验室完成，隶属于伯克利人工智能研究（BAIR）实验室。XDOF提供了远程操作演示数据、训练计算和评估硬件基础设施。在加州大学伯克利分校的学术角色中，Justin Yu、Andrew Goldberg、Kavish Kondap、Karim El-Refai、Ethan Ransing和Ken Goldberg部分得到了丰田研究所、Autodesk、Meta、谷歌、西门子和博世的捐赠，以及英伟达、PhotoNeo、NSF AI4OPT中心和Intuitive Surgical的设备资助。Justin Yu由美国国家科学基金会研究生研究奖学金计划资助（编号DGE 2146752）。本文表达的任何观点、发现和结论或建议均为作者个人意见，并不一定反映美国国家科学基金会的立场。
常见问题
什么是WARP-RM，它估计什么？ WARP-RM是一种基于视觉的模型，可直接从视觉观察中估计机器人任务密集的每帧进度速度，无需人工标注。
WARP-RM如何在没有人工标签的情况下训练？ WARP算法采用自监督方法，仅使用成功的人类远程操作演示，训练模型预测每帧相对于起始帧的归一化时间增量。
什么是时间扭曲增强技术？ 时间扭曲通过以不同间隔子采样帧来改变视频播放速度——更宽间隔模拟更快执行，更窄间隔模拟更慢执行——从而在连续的进度速度范围内提供密集监督。
本研究使用了哪些数据和基础设施？ 本研究使用了XDOF提供的远程操作演示数据，以及XDOF提供的训练计算和评估硬件，在加州大学伯克利分校AUTOLAB实验室进行，隶属于BAIR。