近年来，基于人类反馈的强化学习（RLHF）已成为让决策智能体与人类意图保持一致的主流技术。偏好反馈易于提供，是其广受欢迎、并被用于奖励建模的关键原因之一。然而，由于每条反馈至多只能提供 1 比特信息，偏好反馈也因样本效率低而广为人知。要让人类回答数千个比较问题来学习奖励模型，往往难以扩展。
据我们所知，这是首项利用子空间滤波、从偏好反馈训练神经网络奖励模型的工作。我们在连续控制任务中，将 PreferenceEKF 与四种广泛使用的贝叶斯深度学习方法进行了主动式基于偏好的奖励学习对比；同时，我们进一步检验了所学习的奖励模型是否有助于离线强化学习中的策略优化。实验在 D4RL 和 V-D4RL 基准上开展。
主要发现如下：
- 在偏好建模任务中，就样本效率和校准效果而言，PreferenceEKF 的表现不逊于、甚至优于所有贝叶斯深度学习基线方法。
- 与其他方法相比，PreferenceEKF 不仅运行速度快得多，而且随着模型规模和后验样本数量增加，其扩展性也更好。
- 用于策略优化时，借助 PreferenceEKF 学得的奖励模型所训练出的策略，性能可与使用其他方法学习的奖励模型进行优化所得的策略相媲美。
PreferenceEKF 能带来更好的模型校准吗？
在所有方法中，PreferenceEKF 的预期校准误差（ECE）最低；其 Brier 分数仅次于主动式 DeepEnsemble，位居第二。这凸显了与其他贝叶斯深度学习基线相比，子空间推断方法所实现的后验近似质量。更多校准实验细节及可靠性图见第 A.2.12 节。
子空间构造的消融研究
在没有初始数据集的情况下，使用随机投影方法初始化信念，通常就足以获得良好的奖励学习效果。这一结果使 PreferenceEKF 完全摆脱了对随机梯度下降的依赖。
为保持一致，除非另有说明，PreferenceEKF 的主要实验均采用基于奇异值分解（SVD）的构造方法，该方法依赖随机梯度下降。
PreferenceEKF 能从图像数据和稀疏偏好反馈中学习吗？
主要实验展示了 PreferenceEKF 在基于状态的控制任务中的有效性。在这些任务中，偏好标签通过比较两条轨迹的稠密奖励总和来合成生成。
该方法还应用于另外两种具有挑战性、却十分常见的场景：
- 稀疏比较反馈。
- 基于像素的控制。
更广泛的影响
本文提出了一种用于基于偏好的奖励建模的主动学习算法，能够提升神经网络训练的效率与准确性，适用于需要主观人类评价的应用场景，例如自然语言处理、个性化推荐以及人机交互。
通过围绕不确定或影响较大的偏好来优化数据采集，该方法能够降低标注成本，并改善模型与人类意图的一致性。
然而，在降维后的子空间中工作，并使用扩展卡尔曼滤波器进行推断，可能会给偏好建模带来次优结果，例如放大偏差或忽略少数群体的偏好。为降低这些风险，未来研究应考察 PreferenceEKF 的鲁棒性，以及子空间降维可能造成的信息损失。
致谢
作者感谢 Aleyna Kara 在方法初期讨论中提供的帮助。
Yutai Zhou 的部分研究得到了 USC–Capital One Center for Responsible AI and Decision Making in Finance（CREDIF）奖学金的支持。Erdem Bıyık 感谢 Airbus Institute for Engineering Research（AIER）的资助。
LLM 使用情况
LLM 主要用于编写 Python 可视化脚本、使用 LaTeX 排版图表、查找子空间构造方法的相关工作，以及调试 JAX 编译和模型加载错误。
LLM 未用于论文写作、研究构想或核心算法组件的实现。
常见问题
什么是 PreferenceEKF？
PreferenceEKF 是一种利用子空间滤波、从偏好反馈训练神经网络奖励模型的方法。
PreferenceEKF 与其他贝叶斯深度学习方法相比表现如何？
在样本效率和偏好模型校准方面，它的表现不逊于、甚至优于参与评估的贝叶斯深度学习基线方法。
PreferenceEKF 的校准结果如何？
在参与评估的方法中，PreferenceEKF 的预期校准误差最低，Brier 分数位居第二低。
PreferenceEKF 能处理稀疏偏好和图像数据吗？
除基于状态的控制任务外，该方法还应用于稀疏比较反馈和基于像素的控制任务。