引言
大型数据集和预训练表征推动了机器人模仿学习的发展。扩散、流匹配和视觉-语言-动作策略会根据专家示范拟合神经动作预测器，通常还会使用预训练视觉或视觉-语言骨干网络。这些方法在操作及其他机器人任务上的成功，使神经行为克隆成为一种强大的示例学习技能方法。
然而，这种方法会增加快速部署和修改行为的难度，并限制机器人智能的可及性。拟合或调整策略可能需要数小时的 GPU 计算，使频繁更新代价高昂，而且往往需要服务器端算力。示范一旦被压缩进网络权重，就很难将单个动作追溯到其依据的示例；即使删除不理想的示范，如果不更新已拟合模型，也无法消除它的影响。模型对新场景的泛化能力也仍取决于具体任务。基于查表的诊断结果表明，直接检索轨迹的表现可以媲美扩散策略，因此值得探索一种互补方法：在部署时保留示范。我们的目标是，在算力和拟合时间有限时，让机器人能力更易于部署和修改。
检索策略会显式保留示范，在推理时选取相关行为，并根据实时查询进行调整。这样既能查看策略所依据的数据，也能直接通过示范库进行干预。核心难点在于查询与示范之间存在偏差：机器人不断演进的观测-动作历史未必与记录轨迹完全一致。选择或平均相近的动作，并不能明确地协调这段历史与其后续行为。我们则将检索到的轨迹作为动作延续的局部模型，重建已观测到的过去，并将所得系数用于预测示范中的未来动作。
我们提出行为预测控制（BPC），将拟合的检索度量、基于汉克尔矩阵且经过正则化的动作延续先验，以及闭式单步残差校正结合起来。该度量会选取那些历史信息有助于预测未来动作的窗口。随后，BPC 在这些窗口上重建实时历史，并使用相同的系数预测动作延续；在同一数据支撑集上拟合的残差会进一步校正动作，以处理非线性或高阶效应。采用冻结的预训练视觉特征，可将该表征扩展到视觉运动控制。在本研究中，我们发现局部性与正则化能够应对非线性情形，并给出了将下一动作误差与历史重建误差及局部近似误差联系起来的分析。
BPC 无需端到端策略训练即可构建策略，同时保留为策略提供依据的轨迹。检索窗口的位置和系数还能提供任务进度的内在估计。仿真和硬件实验表明，该方法表现具有竞争力，并能跨任务和不同机器人本体泛化。所报告的配置可将策略拟合时间从数小时缩短至数秒，使用消费级 GPU 即可运行；它甚至能在机器人机载硬件上工作，并支持在 Jetson Orin Nano 上以 75 Hz 控制。凭借这些特点，BPC 让基于示范的策略构建能够在算力有限的情况下切实可行，同时保留对决定行为的数据的访问能力。
正则化局部动作延续
我们将 De Persis 和 Tesi 提出的轨迹补全问题改用于行为克隆：示范数据构成一个行为库。我们不再根据观测和已执行动作的历史来预测未来观测，而是要预测在已观测历史之后应执行的专家动作。
时间索引使用带括号的上标；库列索引和示范索引使用下标。考虑一个由未知专家操控的闭环对象。
组合检索分布
随后仍按照之前的方法，在这个考虑历史信息重新排序的后验分布上进行选择。
计算时间
我们报告了 BPC 在不同数据集规模下的拟合和策略执行成本。即使面对超大规模数据集，BPC 的拟合时间也仅为 3 分钟，且内存占用仍远低于消费级 GPU 的限制。它在 RTX 4090 上以 100 Hz 运行。
我们还在 8 GB Jetson Orin Nano 上对 BPC 进行极限测试，包括拟合和部署；拟合时间不到 3 分钟，并在无人机机载设备上以 75 Hz 运行。
局限性
BPC 的表现取决于示范覆盖范围，以及观测历史中是否包含足够的信息来区分所需动作。检索无法消除因任务信息缺失而产生的歧义；对于远离示范状态的行为，可能需要示范库中不存在的恢复动作。仿射延续允许外推，但较大的带符号系数可能放大近似误差。
我们的分析假设专家策略局部平滑，并对未经校正的动作先验给出界限；但残差校正后，分析并不保证闭环稳定性、安全性或任务完成。具体而言，我们发现不同任务上的表现存在差异，在 Nut、Stack3 和 Pen 上结果较弱。还需要进一步研究，以找到 BPC 可以利用的机制或特定于数据集的特性。
避免端到端策略训练，并不意味着无需拟合或准备数据。BPC 仍需拟合检索和残差组件；保留示范库也会带来随数据集规模增长的存储与检索成本。尽管 BPC 已经适用于大型单任务数据集，未来工作将致力于把这一范式大规模扩展到多任务场景和更多示范数据。
致谢
Codex 用于协助撰写第 3 节和第 4 节的部分数学内容，以及准备 LaTeX 排版。其图像生成系统用于生成概念性的机械臂和无人机插图。
观测编码器
对于每项任务，该编码器均在选定的示范子集上从头训练，采用辅助行为克隆目标，训练 2,000 次更新，批量大小为 32，学习率为 [源文本未提供学习率值]。辅助模型使用两个观测步骤并预测 16 个动作步骤；这些是编码器训练设置，与 BPC 的 10 步历史和延续设置不同。
BPC 仅保留点云编码器；在检索、残差拟合和部署过程中，该编码器均处于冻结状态。因此，报告的 3D 流程包含特定于任务的编码器训练；它不使用已发布的 SDP 权重，也不使用公开的 PointNet++ 替代方案。在这些灵巧操作任务上，冻结的预训练 PointNet 潜变量取得的成功率略低。
检索与残差超参数
此处使用两种不同的随机特征映射：一种用于线性判别分析中的检索映射，另一种用于残差校正映射。两种映射均包含 16,384 个特征；降维后的检索表征秩为 70。检索拟合最多使用 8,192 个锚点。不要将这些维度与图像或点云嵌入维度混淆。
存档的检索配置采用熵教师 Fisher-LDA 拟合。仿射读出采用精确求解器，并施加和为一约束，不额外使用 [源文本未提供正则化项值] 惩罚。
常见问题
什么是行为预测控制？ 行为预测控制是一种基于检索的策略构建方法，它利用示范轨迹延续动作，并进行残差校正。
BPC 是否需要端到端策略训练？ 不需要。BPC 无需端到端策略训练，但仍会拟合检索和残差组件，并保留示范库。
BPC 在机器人硬件上能以多快的速度运行？ BPC 支持在 Jetson Orin Nano 上以 75 Hz 控制机器人，并可在 RTX 4090 上以 100 Hz 部署。
BPC 的主要局限是什么？ BPC 依赖示范覆盖范围和信息充分的观测历史；残差校正后，它也不保证闭环稳定性、安全性或任务完成。