面向机器人操作的 LLM 智能体
这些系统在不同任务回合间保留的知识是文本性的或程序性的。RV-ICL 保持评测框架不变，同时加入一份记录任务执行过程的视觉资料，以及一套查阅该资料的协议。
从上下文中的示范学习
在语言模型中，只需在提示中提供少量示范，就足以说明任务；不过，模型主要依赖示范的格式和标签空间，而非确切的输入—标签映射。Flamingo 将上下文学习扩展到了交错排列的图像。
以上方法都只在开头展示一次示范，作为后续动作的前缀。我们的智能体在每个任务回合中要做出数十至数百次决策，因此问题不仅是要不要展示示范，还包括展示哪一部分、何时展示。
语言模型推理与检索中的递归
递归使上下文长度有限的模型能够处理超出其上下文容量的输入和问题。递归摘要会将一本书压缩成一棵自顶向下阅读的摘要树，而 RAPTOR 会从这样的树中按问题所需的抽象层级检索信息。对于长视频，VideoAgent 和 VideoTree 同样只查看问题所需的帧或分支。
递归分解会按需拆分问题。ADaPT 只会在执行器无法完成某个子任务时进一步分解它；THREAD 会生成子线程，只返回父线程所需的信息；Recursive Language Models 会对一次无法读完的长上下文进行切片，并在各个切片上调用自身。Tree of Thoughts 则会在这类中间步骤构成的树上进行搜索。
另有一类方法会决定何时获取信息。FLARE 会在后续词元不确定时检索信息，Self-RAG 则学会按需请求检索。Reflexion 和 Self-Refine 会将一次尝试的结果用于下一次尝试，MemGPT 则在有限上下文与外部存储之间调度信息。
RV-ICL 将递归引入具身智能体。示范以树的形式组织，智能体会按每次决策所需的层级读取；当物理任务的进展需要更多细节时，智能体就会向下深入：例如在精细接触之前、进入新的子目标时，或某个步骤出错之后。
示范层级结构
固定数量的帧覆盖整个任务。这些帧分布在每次抓取和释放动作附近，其余部分则由均匀采样的帧补足。每个关键帧都包含第三人称视角和腕部视角，并标注时间比例、夹爪状态、末端执行器位置及事件标签。
递归式访问
在执行第一个动作之前，智能体会读取可用的各层级结构。它根据阶段图拟定子目标，并以关键帧作为各阶段的图示。智能体此时不会加载任何片段，因为提示要求它在实际执行动作时再请求片段，而不是预先加载。
主要结果
在其余五个单元格的表现保持在或接近上限的同时，RV-ICL 在 HarnessVLA 表现最弱的三个单元格上取得了明显提升。Goal-T 从 88.0 提升至 100.0，L10-T 从 85.0 提升至 90.0，L10-S 从 72.0 提升至 84.0。
LIBERO-10 是该基准测试中的长时程任务套件，每项任务都串联了多次抓取和释放。该套件上的提升表明，递归式访问对这类任务尤其有效。
Goal-S 上的小幅下降（98.0 vs. 99.0）源自单个失败回合。每项任务使用五个随机种子，因此一个回合就会使单元格的分数变动两个百分点。所以，这一下降并不表明 RV-ICL 在 Goal-S 上逊于 HarnessVLA。
智能体如何递归检索
抓取失败后，智能体只请求抓取时刻，并从片段中查看示范者如何握住锅：抓住把手，手指放得比智能体自己的手指更靠外。至于把手在智能体自身场景中的位置，则由它通过自己的摄像头来判断，因为示范是在另一种布局下录制的。因此，片段提供了文本记忆无法记录的信息，而视频中的其他内容都不会进入上下文。
在全部 400 个 LIBERO-PRO 回合中，智能体每个回合只打开少量片段，而且几乎每个回合都会再次检索。
每个回合中，智能体都会在执行第一个机器人动作之前读取关键帧和阶段图。
局限性
RV-ICL 假设每个基础任务只有一个示范；当基准测试改写某项任务的目标时，示范中的部分内容就会失效，必须向智能体标明。在 LIBERO 上，我们根据夹爪和夹具关节检测子事件。对于在记录状态中没有留下此类痕迹的任务子项，例如推、擦拭或倾倒，则需要另一种检测器，比如读取末端执行器轨迹的检测器，或调用视觉语言模型的检测器。当接触动作由学习得到的技能执行，且其运动与示范者不同时，更细的层级中就很少有智能体能够据此采取行动的信息。
每个示范视图都会在本回合剩余时间内保留在上下文中，因此成本会随再次检索的次数增加而上升。我们的所有实验都使用单台机器人和单个 VLA 执行 LIBERO 任务，因此尚未测试其他具身形态和示范来源。我们的智能体使用通过第三方端点访问的专有模型，其行为可能随时间变化。
我们的 LIBERO-PRO 单元格包含 50 个回合；每个 LIBERO-Plus 维度则包含在单个随机种子上运行的 17 或 18 个变体，因此单个回合就会使单元格的分数变动二至六个百分点。结果表中的基线数据来自单独运行，因此无法与我们的结果逐回合比较。
伦理声明
所有实验均在仿真中进行。LLM 智能体会运行 shell 命令，也可能读取任务范围之外的文件；我们通过限制目录权限隔离实验条件，并在之后审计每条 shell 命令。将此类智能体部署到实体机器人上，需要更严格的沙箱隔离和人工监督。示范取自公开基准数据集。
常见问题
RV-ICL 为智能体增加了什么？ 它加入了任务示范的视觉记录，并提供一套协议，让智能体能够按需查阅记录中的部分内容。
智能体何时检索视频片段？ 它会在实际执行动作时请求片段，而不是在行动前一次性加载所有片段。
抓取失败后，检索到的片段能提供什么信息？ 片段可以展示示范者如何完成抓取，而智能体会使用自己的摄像头在自身场景中定位物体。
RV-ICL 的主要局限是什么？ 它假设每个基础任务只有一个示范，而且实验仅覆盖由单台机器人和单个 VLA 执行的 LIBERO 任务。