人类决策的范围从反射性（如走路）到深思熟虑（如下棋），每个决策投入的时间和精力各不相同。这个过程既是迭代的也是自适应的，通过一系列逻辑步骤推进，其规模随决策复杂度而变化。现代大型语言模型（LLM）表现出类似的模式：一类广泛的“推理”LLM通过生成最终答案之前的中间token，显著提升了性能。我们提出疑问：迭代自适应计算能否惠及顺序决策问题（如机器人控制）？对于机器人策略，我们认为其好处是双重的：一是在任务变化下的高效决策，二是更好的泛化能力。然而，直接移植语言模型的方法可能不足，因为语言token可能无法捕捉空间理解和精确运动所需的细微差别。因此，我们建议机器人策略在端到端学习的潜在空间中迭代推理，以进行动作预测。这既保留了迭代自适应计算的优势，又使中间表示能够以适当粒度捕捉控制相关信息。
实验
我们开展实验以回答以下研究问题：（1）LMP-参数化形式是否是一种高性能的生成式控制策略？（2）LMP-标记化变体是否是一种有效的动作标记器？（3）LMP是否表现出测试时计算的自适应分配？（4）哪些因素有助于LMP的性能？
讨论
由于LMP采用基于采样的强化学习技术训练，它对超参数较为敏感。例如，如果没有足够大的回放缓冲区或正则化，潜在分布容易坍缩。我们将对所提框架的稳定可扩展优化探索留作未来工作。
基线方法细节
本节描述基线方法的细节。所有策略基线使用1步观测历史和16步动作块。所有基线与我们的方法训练相同数量的梯度步数。这些是生成式控制策略，通过去噪扩散过程建模专家动作分布。Diffusion Policy是单任务变体，Large Behavior Model是语言条件多任务变体。我们将噪声预测网络参数化为一个双向transformer，带有交叉注意力观测条件。训练时使用100个扩散步，推理时使用DDIM调度器进行10个扩散步。
环境细节
平台基于7自由度Franka机器人的单臂操作设置。图像观测包括来自场景摄像头和腕部摄像头的两个（180, 320）图像。低维观测包括6维绝对关节位置和1维绝对夹爪位置，表示为[0,1]的连续值。动作包括6维增量关节位置和1维绝对夹爪位置。控制器以10Hz运行。为确保可靠比较，我们安装了一个顶置摄像头，并使用程序跟踪每个任务的20个初始配置。程序将预捕获的快照与实时帧进行alpha混合，以便通过对齐来重置物体。
我们在DROID数据集训练分布内的两个零样本任务和两个具有挑战性的任务（各收集100个演示并进行微调）上进行评估。
方块-碗（零样本）：拿起一个方块放入碗中。物体在工作空间内随机初始化。若夹爪将方块释放到碗中，则视为成功。语言指令：“拿起方块，放入碗中。”
马克笔-杯子（零样本）：拿起一支马克笔放入杯子。物体在工作空间内随机初始化。若夹爪将马克笔释放到杯子中，则视为成功。语言指令：“拿起马克笔，放入杯子。”
插销-孔（微调）：高精度操作任务，将方形插销插入带方孔的底座。底座在工作空间中心附近方形区域随机初始化，插销在方形区域外随机初始化。若夹爪将插销牢固插入底座，则视为成功。语言指令：“将插销插入孔中。”
清理桌面（微调）：复合操作任务，将工作空间内散落的3个物体放入碗中。我们从7个物体中随机选择3个收集演示。成功标准部分：清理至少1、2、3个物体。语言指令：“清理桌面。”
LIBERO-90任务成功率分布
尽管LMP-参数化形式和DP在大多数任务中均达到接近完美的成功率，但LMP-参数化形式下降速度更慢，表明其在不同任务语义间具有更好的泛化能力，且跨任务干扰更少。
测试时计算的额外定性分析
我们在d3il-stacking中设计了一个分析实验，以定性理解测试时计算的分配。我们将夹爪保持张开状态，让一个方块滑过张开的夹爪，同时持续查询策略的平均潜在步数。当方块移动时，潜在步数在方块正好位于夹爪下方时达到最低点。这定性显示了推理步数与潜在夹爪运动之间的关联。
我们发现，在多个仿真和真实任务中，抓取和释放时潜在步数较低，而对齐和其他移动时步数较高。在较简单的任务（如Robomimic的lift和can，或D3IL的对齐和分类，其中末端执行器是插销）中，我们未观察到如此明显的潜在步数变化。
常见问题
潜在记忆宫殿与标准扩散策略有何不同？ LMP在学习的潜在空间中使用迭代潜在推理，而非在动作空间中去噪，从而实现测试时计算的自适应分配。
哪些类型的任务最受益于LMP的自适应计算？ 需要对齐或精确移动的复杂任务在关键阶段使用高潜在步数，而简单的抓取任务使用较少步数。
LMP框架对超参数选择敏感吗？ 是的，如果没有足够大的回放缓冲区或正则化，潜在分布可能坍缩，因此稳定优化是未来工作的方向。
LMP在泛化方面如何评估？ 它在DROID数据集的零样本任务上测试，并在插销插入等高精度任务上微调，显示出优于扩散基线的跨任务泛化能力。