相关工作
附录 A 对相关工作进行了更深入的讨论。
背景：学生—教师蒸馏
以下各节聚焦于部分可观测条件下师生蒸馏的关键范式，讨论这些方法为何难以在非对称设置中习得探索能力，并说明 ASTEROID 如何作为一种迭代式同策略蒸馏方法，助力学习上下文内探索。
实验
实验旨在回答以下问题：
- ASTEROID 能否在部署时高效解决部分可观测问题？
- 与基线方法相比，ASTEROID 的样本效率如何？
- 使用 ASTEROID 训练的策略在测试时会展现出怎样的探索行为？
- ASTEROID 能否学会可部署于真实机器人硬件的探索策略？
- 前沿模型能否进行上下文内探索？
- 学习同策略上下文是否是高效习得探索能力的必要条件？
任务
该方法在一组多样化的部分可观测决策任务中进行评估，涵盖机器人操作、离散探索和连续导航。这些任务要求智能体在感知受限的条件下进行探索、记忆和适应。
部分可观测网格世界
部分可观测网格世界是离散搜索问题中的经典基准。智能体在网格世界中经历多个回合，以到达一个或多个目标。智能体在尺寸未指定的网格中行动，并须进行有针对性的探索，例如寻找隐藏目标，或在多个回合中依次找到隐藏的钥匙和门。
元学习导航
元学习导航要求智能体在环境中导航，找到隐藏目标。研究采用两种设置：蚂蚁导航中，智能体是一个 8-DoF 机器人；2D 导航中，系统动力学则简化为一个简单的点质量模型。
Procgen 迷宫导航
Procgen 迷宫导航要求在程序生成的迷宫中找到目标。智能体只能获取维度未指定的局部观测，并须根据交互历史推断迷宫布局和目标位置。
具身物体搜索
具身物体搜索要求在 Habitat-Sim 的固定环境中寻找家居物品。这是一项视觉复杂、贴近现实的部分可观测任务。
模拟机器人操作
模拟机器人操作包含部分可观测条件下的高维连续控制任务：腕部相机插销插入和触觉拾取。机器人必须利用有限的感知信息操作物体，例如仅凭腕部视角探索桌面，或利用触觉感知定位物体并完成任务。
真实机器人操作
其中一项模拟任务在现实环境中进行了重建：机器人必须仅凭手臂和夹爪的本体感知信息抓起一个立方体。策略先在仿真中通过领域随机化进行训练，再迁移至现实环境。
基线方法
研究将 ASTEROID 与来自多个部分可观测性框架的十种强基线方法进行比较。文中介绍了其中两种：
- RL²（元强化学习）：训练循环策略，仅通过交互适应隐藏参数。策略的隐状态充当隐式学习算法，可根据跨回合的历史信息进行更新。
- 蒸馏规划器：针对 Habitat 中的具身导航，训练策略执行后验采样强化学习（PSRL），以提供性能上限。
前沿模型能否进行上下文内探索？
鉴于近期高能力基础模型取得的进展，研究考察了前沿模型在部分可观测环境中用于探索时的表现。实验采用插销插入任务：机器人必须使用腕部相机探索桌面，找到并拾起插销，再将其插入插销孔。
致谢
作者感谢 WEIRD Lab 成员提供的宝贵反馈和深入讨论。他们还感谢 OmniReset 的作者在设置仿真专家以及将机器人策略从仿真迁移到现实方面给予的指导。作者感谢 UW Hyak Team 提供高性能计算资源，为研究成果的取得提供了支持。本研究部分由 NSF Award 2535892 资助。
特权专家监督中的噪声鲁棒性
作者通过一项消融研究评估 ASTEROID 对特权专家监督噪声的鲁棒性：由带噪声的专家监督学生策略。训练时，他们向专家动作注入高斯噪声，所提供文本未说明噪声参数，并发现 ASTEROID 在带噪监督下仍能保持良好性能。性能略有提升，可能是从带噪目标中学习所产生的正则化效应所致。
涌现的上下文内记忆
为考察使用 ASTEROID 学得的策略是否会利用上下文，作者构建了一个钥匙—门环境的变体。智能体在探索过程中每当落在钥匙或门上时，都会在其状态中观察到两个布尔标志。
使用 ASTEROID 训练的策略表现出涌现的上下文内记忆。如果智能体在先前尝试中发现了钥匙或门，之后便能从上下文中提取这些信息并加以利用。
训练细节
ASTEROID 使用因果 Transformer。每个词元通过 MLP 编码器对观测、前一动作、奖励和终止信号组成的元组进行编码。图像使用经 ImageNet 预训练的 ResNet18 编码。对于离散动作，模型预测动作空间上的 logits；对于连续动作，模型预测高斯分布的均值和标准差。
常见问题
ASTEROID 旨在学习什么？ ASTEROID 是一种迭代式同策略蒸馏方法，旨在学习部分可观测条件下的上下文内探索。
实验使用了哪些类型的任务？ 任务涵盖网格世界探索、导航、具身物体搜索、模拟机器人操作和真实机器人操作。
钥匙—门实验如何检验上下文内记忆？ 智能体落在钥匙或门上时会观察到相应标志。实验报告的策略之后能够提取先前尝试中的发现并加以利用。
ASTEROID 使用什么架构？ 它使用因果 Transformer，通过 MLP 编码器处理观测—动作—奖励—终止信号词元，并使用预训练的 ResNet18 处理图像观测。