如果机器人能识别出人们尚未说明的偏好，并直接询问这些信息缺口，就能更高效地学习他们的偏好。Helena Merker、Nick Walker 和 Andreea Bobu 开发了一种奖励学习方法，利用偏好描述不充分的迹象来调整机器人的初始假设，并聚焦于人类偏好问题，旨在减少机器人和人的猜测。
目录
研究人员开发了什么？
研究人员开发了一种方法，让机器人在学习人类反馈并估计奖励函数时，也能考虑人们尚未清楚表达的偏好。奖励函数是机器人用来判断哪种行为更好的内部评分系统。比如，一个人可能希望任务尽快完成，但目前的反馈或许还无法说明，相比保持物品井然有序，速度是否更重要。
这种尚未明确的细节称为未充分指定的特征：它是任务中重要、但现有教学信号尚未明确的因素。早期方法可能会把缺乏明确反馈当成该特征并不重要的证据。与之不同，这项研究利用教学数据中的规律，判断哪些特征似乎尚未充分明确。
这一判断随后会指导学习的两个环节。首先，它会调整机器人的初始假设——也就是称为信息先验的起点——让机器人不把缺失的信息当成已经确定的偏好。其次，它帮助机器人选择聚焦于不确定特征的问题。机器人还可以解释问题为何重要，引导人们关注相关的权衡取舍。
实验结果如何？
最重要的结果是，在报告的仿真和用户研究评估中，采用信息先验的方法比标准主动偏好学习更快地恢复了真实奖励函数。实际而言，该方法更善于从人类比较中推断目标偏好，也不会在教学数据未能明确的假设上耗费过多学习精力。
实验考察的不只是初始假设。在仿真中，研究人员将信息先验与四种替代先验进行比较，测试了有针对性的问题选择目标与随机提问的差异，并评估了三种旨在引导人们注意力的解释方式。所提供的结果没有报告数值分数、样本量或提升幅度，因此无法据此量化效果大小。
用户研究评估了信息先验和解释性提示是否能改善奖励恢复效果。研究还请参与者评价问题是否容易回答、他们对问题目的的理解程度、表达机器人需要学习的信息的效果，以及他们是否更喜欢收到解释。报告材料说明了这些测量指标，但未提供详细结果。因此，目前最明确且有证据支持的发现是奖励恢复速度更快；解释对学习效果和参与者体验各自产生的影响，仍无法在此量化。
有针对性的主动偏好学习如何运作？
该方法结合了偏好学习和主动学习。偏好学习通过反馈来估计一个人偏好的行为，通常会询问两种选项中哪一种更好。主动学习则意味着由机器人选择下一个问题，而非只随机收集反馈。关键在于选出能让机器人学到有用信息、又不会给人增加不必要负担的问题。
该方法首先检查教学数据，寻找某些特征尚未明确的迹象。这一点很重要，因为沉默存在歧义：一个人可能不在意某项特征，也可能只是还没有机会表达对此的偏好。系统根据对这种歧义的判断形成信息先验。简单来说，机器人以一组经过更好校准的假设开始学习，而不是把所有未提及的特征都视为不重要。
接下来，机器人会结合这些不确定特征来选择偏好问题。有针对性的查询可以区分若干候选奖励函数，而这些函数在某个尚未得到明确说明的特征上存在差异。随机提问则可能把问题浪费在无法弥补机器人认知中最大缺口的差异上。
解释环节增加了面向人的部分。提问前，机器人可以说明自己想要了解哪项特征或权衡取舍。这样，人们比较选项时就有了更清晰的依据，问题的目的也更加明确。重点不是告诉人们该选哪个选项，而是帮助他们理解机器人需要哪些信息。
这些步骤让同一项判断发挥两种作用：既塑造机器人的初始信念，也帮助决定接下来要问什么。由此形成的学习过程，旨在更审慎地利用人们的注意力。
这对机器人技术有何意义？
许多现实任务中的偏好都难以事先表达。一个人可能在意速度、安全性、噪声、清洁度，或机器人对工作区的重新布置程度，但只有部分优先事项会在示范或早期反馈中显现。如果机器人假定未提及的因素无关紧要，就可能反复做出技术上有效、却仍令操作人员不满的选择。
有针对性的问题提供了一种切实可行的替代方案，不必要求人们写出完整的奖励函数，也不必要求他们预先想到所有边缘情况。这对影响共享空间的机器人任务尤为重要，例如在仓库中，操作人员可能既重视吞吐量，也重视机器人的移动是否可预测。正在探索此类部署的团队可以在 Robot Overflow 浏览仓库机器人；这项研究关注的是一种学习方法，并未测试任何特定产品。
更广泛的运营收益在于工作重心的转变。机器人不再要求人们一开始就解释所有偏好，而是由机器人负责发现不确定之处并主动询问。解释也可能让反馈不再像一道随意的测验，因为它能说明特定比较为何有用。
对工程师而言，核心结论是：偏好学习不仅关乎改进算法的估计结果，也关乎选择要请求哪些信息，并让请求易于理解。如果系统能够识别有意义的信息缺口，而不是等待操作人员自行发现，偏好学习系统就可能更容易配置。
有哪些局限和未解问题？
报告结果表明了改进方向，但所提供的材料没有给出效应量、参与者人数、不确定性估计或详细的基准比较。因此，很难判断奖励恢复优势有多大、是否稳定，或有针对性的问题相较于信息先验本身带来了多少额外贡献。
该方法还依赖对信息描述不充分情况的准确检测。如果机器人把真实偏好误判为信息缺失，或反过来，就可能从错误的假设出发，并把问题集中在错误的事项上。现有说明没有阐述检测器的失效模式，也没有说明它在不同用户和任务中的稳健性。
评估包含仿真和用户研究，但所提供的文本并未证明该方法在实体机器人长期部署、偏好变化或高风险任务中的表现。要证明解释对不同用户始终清晰，以及更少但更好的问题能带来各种场景下的可靠运行，还需要更多证据。
读者常问哪些问题？
什么是描述不充分的奖励函数？ 它是机器人的一种评分规则，其中一个或多个重要因素尚未通过人类反馈得到明确说明。
机器人如何利用这些缺失信息？ 它会调整初始假设，并选择针对不明确特征的偏好问题。
该方法是否优于标准主动偏好学习？ 报告的结论称，该方法在仿真和用户研究中更快地恢复了真实奖励函数，但所提供的结果没有包含效应量数值。
解释能改善用户体验吗？ 研究测量了问题的易答程度、理解程度、表达所需信息的能力，以及参与者对解释的偏好，但所提供的结果没有说明详细结论。
核心结论是什么？
如果机器人把缺失的反馈视为不确定性，而不是某项特征无关紧要的证明，就能更高效地学习偏好。这种方法既利用这一判断来改进机器人的初始假设，也据此提出更聚焦的问题。
机器人应该优先询问并澄清哪项偏好？