我们研究引导式数据采集（GDC）：与不加区分地收集数据、事后再筛选不同，GDC 方法会主动推理应收集什么数据、在哪里收集，以及应优先考虑哪些交互，从而最大限度地提升下游部署表现。我们关注这样一种实际情境：无法直接访问部署环境，但仍可以在相关的辅助环境中采集数据。
基于常识提案的任务参数空间探索
根据目标域背景信息——视频示范、语言描述，以及环境和物体等可用训练资源——视觉语言模型（VLM）会提出可行的任务参数，指定采集环境、场景配置和操作任务。VLM 不会决定每项任务应采集多少数据；它的作用是找出开放式任务空间中有前景的区域，之后再通过基于归因的评估确定这些区域的效用。
实验
训练细节
我们在所收集的数据集上训练一个由语言条件控制的 Octo 策略，并以作者发布的预训练检查点作为初始化。遵循先前的工作，我们使用 50/50 的采样比例，将策略与目标任务示范数据共同训练。
定性分析：GUILD 收集了哪些数据？
在开放世界设置下，GUILD 为每个真实世界目标任务采集的最终数据构成表明，每个目标对应的辅助任务各不相同，并按采集数据量从高到低排列。每个条形表示某项辅助任务采集的轨迹数量，颜色则表示该任务在哪一轮外循环中引入。图中还展示了每个目标下数据分配量较高的代表性辅助任务。
GUILD 会优先选择与目标任务保留相关语义和行为结构的辅助任务，例如涉及相似物体、容器或操作模式的任务。
结论与局限性
本研究在德克萨斯大学奥斯汀分校机器人交互智能（RobIn）实验室开展，并获得美国国家科学基金会（CAREER Award FAIN 2543745）、NVIDIA 学术资助计划、TACC 资源及 Amazon 的部分支持。本文所表达的任何意见、发现、结论或建议均属于作者观点，不一定反映美国国家科学基金会或其他资助方的看法。
人类实验详情
为评估人工引导的数据采集，我们调查了机器人领域经验水平各不相同的参与者。经验最少的参与者约有一年的机器人领域经验，而经验最丰富的参与者在机器人学习与操作方面拥有五年以上的研究经验。为了构建由人类提出的数据集，我们向参与者提供了自动化方法所能获取的相同信息，包括目标任务背景、可用训练环境的描述，以及数据采集总预算。参与者需要设计一种数据采集策略，在遵守预算限制的同时，最大限度地提升目标任务的表现。重要的是，参与者无法查看归因分数、基线结果，也无法获得自动化方法最初获取的信息以外的任何反馈。
对于每个目标任务，参与者都在与 GUILD 相同的参数空间内提出一组任务。例如，在真实开放世界设置中，每项提案都指定了采集环境、物体配置、任务描述，以及分配给该任务的采集预算。随后，使用与自动化方法相同的数据采集流程收集所提议的数据集：在仿真中使用脚本策略，在真实世界中使用人工遥操作。最后，所有人工引导的数据集都按照各设置所述的相同策略训练与评估流程进行评估。这确保了性能差异仅由数据采集策略造成，而非学习或评估流程所致。
所用 VLM 的影响
在所有实验中，我们使用 GPT-5.2 提出任务，并在反馈驱动下扩展支持集。我们通过在 LIBERO 实验中将 GPT-5.2 替换为 Gemini-2.5-Flash，同时保持其他所有超参数不变，研究 GUILD 对 VLM 选择的敏感性。结果以 GUILD (Gemini) 报告。
真实世界任务的分阶段结果
我们测量了真实世界评估中的分阶段成功率。各任务的阶段如下：
- Pink-cup-sink： 拿起粉色杯子 → 将其放入水槽。
- Towel-drawer-close： 拿起毛巾 → 将其放入打开的抽屉 → 关闭抽屉。
- Bowl-pour： 抓起黑色碗 → 将碗中物品倒入抽屉。
- Lemon-drawer-close： 拿起柠檬 → 将其放入打开的抽屉 → 关闭抽屉。
常见问题
GUILD 解决什么问题？ GUILD 研究引导式数据采集：方法会推理应收集什么数据以及在哪里收集，以提升下游部署表现。
VLM 使用哪些信息来提出任务？ 它使用目标域背景信息，包括视频示范、语言描述，以及环境和物体等可用训练资源。
VLM 会决定每项任务应采集多少数据吗？ 不会。它会提出任务空间中有前景的区域；之后再通过基于归因的评估确定这些区域的效用。
人工引导的数据集如何评估？ 这些数据集采用与自动化方法数据集相同的策略训练与评估流程，因此性能差异反映的是数据采集策略的不同。