消融研究：子任务预测与条件化
接下来，我们评估在 shirt-hang 任务中，预测当前子任务并据此对价值估计进行条件化的重要性。
在第一种变体中，我们移除子任务预测与条件化，仅使用子任务级时间差分损失训练模型。在第二种变体中，我们保留子任务预测损失，但不让价值头以子任务为条件。因此，推理时不会解码子任务；子任务信息仅以隐式形式存在于模型的激活中。
讨论、结论与未来工作
最后，我们使用 Q 函数在固定基础策略提出的动作块中进行选择，因此，策略引导能力受到候选动作质量与多样性的限制。
下一步，一个自然的方向是构建探索性更强的基础策略，并利用学习到的 Q 函数直接改进策略。我们的实验还会在每个目标任务上对通用价值函数进行微调；如果进一步评估在更少下游数据下的迁移能力，或完全不进行任务特定微调时的表现，将有助于更清楚地界定其泛化范围。
其他实验结果
第 4.4 节中的消融实验，将辅助下一词预测（NTP）损失带来的收益，与显式根据解码出的子任务对价值进行条件化所带来的收益区分开来。
跳过子任务解码是降低推理延迟的一种颇具吸引力的方法：联合训练或许能让潜在激活隐式携带相关子任务信息。UVA 和 Fast-WAM 等视频—动作模型也采用了类似思路：保留视频监督，同时在动作推理时跳过显式的视频生成。
我们将 SeeQ 与一种变体进行比较：该变体保留辅助 NTP 损失，但不让其价值头以子任务 token 为条件。两者都使用子任务级 TD-BoN 和相同的 NTP 权重 [公式：原文以符号形式指定 NTP 损失权重]，并采用相同的学习率计划在 shirt-hang 任务上进行微调，且分别从对应的 RoboCOIN 预训练检查点开始训练。
常见问题
消融实验评估什么？ 它评估预测当前子任务，并据此对价值估计进行条件化的重要性。
移除子任务预测与条件化后会怎样？ 模型仅使用子任务级时间差分损失进行训练。
为什么跳过子任务解码可能降低推理延迟？ 联合训练或许能让潜在激活隐式携带相关的子任务信息。
未来工作的一个方向是什么？ 未来可以构建探索性更强的基础策略，并应用学习到的 Q 函数直接改进策略。