Patch Policy研究了块级视觉特征在机器人学习中的有效性，提出了一种高效的策略类，利用预训练的密集视觉表示在保持计算精简的同时实现卓越性能。
策略学习
该公式与动作头架构和训练目标无关。在我们的实验中，我们使用两种最先进的架构评估Patch Policy：向量量化行为变换器（VQ-BeT），它使用混合分类-回归损失；以及扩散策略，它使用去噪目标。
在训练期间，我们通过策略变换器主干和动作头前向传递一系列块令牌，并为每一帧计算预测动作与真实动作之间的损失。在推理时，我们从当前观测中提取块特征，并将其附加到长度为可配置序列长度的滚动上下文窗口中。策略根据观测上下文预测一串动作，并使用后退时域控制执行动作。
实验
我们在四个模拟环境和三个真实机器人操作环境中评估Patch Policy，旨在回答以下关键研究问题：
- Patch Policy与使用全局和块特征的最新策略相比如何？
- Patch Policy是否适用于现实世界中的精确操作？
- 最新的预训练编码器作为下游策略学习的表示表现如何？
- 视觉特征的空间压缩如何影响下游任务性能？
- Patch Policy在效率方面与其他方法相比如何？注意设计和模型大小如何影响其性能？
环境
我们在四个模拟环境（Push-T、LIBERO Goal、BlockPush、Cube）中评估Patch Policy，这些环境具有2D到7D动作空间，以及三个真实世界任务，使用具有平行颚夹爪的7自由度Franka手臂（插入电源线、悬挂工具、将笔收集到支架中）。
基线方法
我们与两组基线方法进行比较。为了隔离块特征的效果，我们将相同的策略头（VQ-BeT、扩散策略）与标准全局表示配对：DynaMo、CLS令牌和全局平均池化。为了将Patch Policy与最先进的方法进行对比，我们比较了ACT和OpenVLA-OFT，它们也使用密集特征。我们的基线表示和策略如下：
视觉表示基线： - DynaMo： 通过基于动力学的联合嵌入预测架构学习的全局池化表示。 - CLS令牌： 来自视觉变换器的类别令牌，代表场景的压缩摘要。 - 平均池化： 通过全局平均池化将空间特征图折叠成单个向量的基线。 - ACT： 一种条件变分自编码器，通过重叠块的时序集成预测动作块，减少精细操作中的累积误差。它使用从头开始训练的ResNet-18视觉编码器的块特征。 - OpenVLA-OFT： 一种视觉-语言-动作模型，通过并行动作解码和L1动作回归对OpenVLA进行微调，以实现更快的训练和推理。它基于Llama-2 7B LLM骨干，并融合来自预训练DINOv2和SigLIP视觉编码器的通道融合块特征。
预训练视觉表示基准测试
对于所有实验，我们冻结图像编码器并仅训练策略。这种方法隔离并评估每个主干的现成表示能力。这种冻结设置还允许我们预计算视觉嵌入，显著加速训练。
值得注意的是，对于任何给定任务，视觉表示的相对排名在不同策略架构中保持非常一致。这种一致性表明视觉表示的质量仍然是策略学习的主要瓶颈，与下游动作头无关。此外，这些表示的排名在整个任务套件中保持稳定，强调了某些预训练目标的泛化能力。基于这些发现，我们建议在机器人学习任务中使用WebSSL或DINOv2作为视觉骨干。
其他消融实验
附录包含更多关于注意力掩码、模型大小和可视化的实验和细节。基于变换器的策略传统上在每个观测步骤中只使用一个令牌作为条件，从而可以直接应用标准的令牌级因果注意力。在Patch Policy中，每个观测现在是一个令牌序列，因此我们应用块因果注意力掩码。在这种设置下，每个块令牌完全关注同一帧内的所有其他块令牌，而帧间的注意力保持严格因果。我们将这种块因果注意力与其他两种掩码选择进行了消融实验：无掩码的全注意力和令牌因果注意力——将每个块视为独立时间步的朴素实现。
局限性
虽然Patch Policy有效地利用了密集空间特征进行控制，但仍有几个方向有待未来研究。首先，我们只关注冻结的视觉骨干，未来的工作可以探索端到端微调，以适应专业视觉领域的表示。其次，密集令牌增加了序列长度和训练时间。诸如FlashAttention之类的优化可以加速训练和推理。最后，Patch Policy目前仅作为行为克隆策略进行评估。将这种基于块的架构扩展到强化学习可能是超越静态专家演示性能上限的一个有前景的方向。
结论
在这项工作中，我们研究了块级特征在机器人学习中的有效性，并引入了Patch Policy，一种高效的策略类，利用预训练的密集视觉表示。它在参数数量、训练计算和推理延迟方面保持计算精简的同时实现了卓越性能，优于全局特征策略和重量级VLA。通过保持视觉骨干冻结并直接通过块因果注意力掩码摄入其块令牌，Patch Policy为机器人社区提供了一种轻量级的、即插即用的管道，可以轻松吸收视觉表示学习的持续进步，而不会牺牲现实世界操作所需的快速训练和高频控制。
我们要感谢Mahi Shafiullah、Irmak Guzey、Kevin Wu、Hengkai Pan、Zifan Zhao、Alex Xiaole Jiang、Andre Wang、Zicheng Teng、Kanad Patel、Yvonne Wu、Zavier Andrianarivo的宝贵讨论和反馈。这项工作得到了LG、高通、本田、微软、现代、NSF奖号2339096、ONR奖号N00014-21-1-2758和N00014-22-1-2773以及AFOSR基金号FA95502310139的资助。Lerrel Pinto得到斯隆、帕卡德和CIFAR奖学金的资助。
常见问题
Patch Policy与使用CLS令牌或全局池化有何不同？ Patch Policy通过处理所有块令牌并使用块因果注意力，保留了视觉特征的完整空间结构，而不是将它们压缩成一个全局向量。这种密集表示为精确操作任务提供了更丰富的空间信息。
哪些视觉骨干与Patch Policy配合最佳？ WebSSL和DINOv2在所有评估任务中排名最高的冻结骨干，并且无论使用哪种策略头，排名都保持一致。视觉表示的质量是策略学习的主要瓶颈。
Patch Policy是否适用于真实机器人，而不仅仅是仿真？ 是的，Patch Policy通过在三个真实世界精确操作任务中使用7自由度Franka手臂进行了验证：电缆插入、工具悬挂和笔收集。它在所有三个任务中都实现了成功的运行。
为什么Patch Policy冻结视觉编码器而不是微调它？ 冻结编码器可以隔离评估每个主干的表示质量，并允许预计算视觉嵌入，从而显著加速训练。微调仍是专用视觉领域的一个选择。