传统上，从人类偏好学习机器人策略要求标注者对两条轨迹给出单一的二元评分，将复杂的判断压缩为一个数字。自由形式偏好学习（FPL）则要求标注者用自然语言描述他们关心的维度——如速度、安全性或任务完成度——并为每个轴提供单独的偏好，从而保留人类反馈的丰富性。
引言
为了保留这些判断轴，关键思路是允许标注者在他们选择的任何与任务相关的轴上提供偏好标签。这种多维监督随后可用于学习一个针对这些维度组合进行优化的策略。FPL要求标注者用自然语言指定相关的判断维度，并为每个轴提供二元偏好。这些轴可以预先定义，也可以在标注过程中定义。学习一个多轴奖励函数，该函数在条件于轴的文本描述时产生标量奖励分数。最后，训练一个可提示的策略，以优化奖励训练期间描述的轴组合。该框架同时提高了提供无歧义监督的便捷性和下游策略优化的监督密度。
从自由形式偏好学习
FPL的关键思想是从自然语言和开放式反馈中学习，而不是传统的二元偏好。不要求标注者对两条轨迹给出一个总体偏好，而是让他们描述比较的轴，如速度、安全性、平滑度或子任务完成度。这产生的反馈更细粒度、更少歧义。这些自由形式偏好用于学习一个语言条件化的多维奖励函数，该函数沿着每个指定轴对轨迹评分。然后训练一个以多个偏好维度为条件的策略，以优化每个轴上的行为。
分析与实验评估
实验部分旨在回答以下问题：（a）FPL是否通过自由形式的人类偏好学习有效的策略？（b）通过FPL学习的策略是否展现出数据中未见过的行为的组合性？（c）FPL在测试时是否表现出奖励的可引导性？（d）FPL是否为长时域任务学习更密集的奖励函数？
实验设置
为了实证回答上述问题，考虑了四个现实世界操作任务和两个模拟任务。所有任务都从具有不同质量和策略的离线演示开始。报告均值和标准误差，每个现实世界方法使用20次 rollout，模拟中使用三个种子。
定性分析
自由形式偏好轴在迭代过程中自然变化。随着策略性能在每次迭代中提升，标注者从较粗略的反馈转向更具体和完美主义的反馈。在一个折短裤任务的早期迭代中，标注者关注每次折叠是否发生；后来，当折叠可靠时，则完善是否有褶皱和最终对齐。
自由形式偏好减少了每个标签的标注时间。收集自由形式偏好比收集单一二元偏好每个标签快约50%。由于标注者为每个轨迹对提供多个轴特定的判断，观看视频的成本在多个标签之间分摊，从而减少了标注开销。
局限性与结论
FPL引入了一种从自由形式人类偏好学习机器人策略的方法。通过使用自然语言轴收集偏好，FPL提供了比单一二元偏好更密集且更少歧义的监督。在四个现实世界任务和两个模拟设置中，FPL优于基线。保留人类反馈的多维结构使得行为具有组合性，学习到的策略在测试时可引导，并在定性上学习到具有更好信用分配的奖励模型。
仍存在若干局限性。偏好学习需要收集人类偏好，这比完全无监督的方法成本更高。奖励条件策略学习需要在测试时选择合适的奖励值；自动化这一选择是未来工作的重要方向。当前策略以一组固定的偏好轴为条件，随着VLA变得能力更强，扩展该方法以处理可变轴是一个有前景的方向。
现实世界任务
所有四个现实世界任务使用DROID设置在Franka机器人上，使用两个相机视角（腕部和第三视角）作为观测，采用关节速度控制。每个任务从具有不同质量和策略的离线演示开始。
机器人被要求将一片吐司装盘，要么用锅铲铲起，要么直接用夹爪从托盘中拿起并放到盘子上。吐司在托盘上的初始位置和方向以及锅铲的位置在每个episode中变化。与结构化任务不同，偏好轴未预先固定；相反，标注者自由指定与任务最相关的维度。收集的轴包括速度、运动平滑度、清洁度、装盘质量以及机器人是否损坏了吐司。
模拟任务
提出了两个模拟任务和一个额外变体，这些是robomimic原始任务的扩展。在一个任务中，场景中有两个物体——面包和罐子。目标是将它们放入正确的盒子中，按正确顺序（先面包后罐子），且不能掉落。离线数据集包含多种行为：顺序错误或掉落物体的数据，以及完美演示。
偏好收集
通过自定义网页界面收集偏好，其中向标注者展示两个并排的机器人rollout视频，并要求他们指出每个轴上哪个rollout更优，或表示等价。对于某些任务（Setup Table、Fold Shorts和Place Cube into Bowl），轴是预定义的并按任务变化。对于其他任务，如Plate Toast任务，标注者还在提供偏好之前以自由文本形式指定自己的偏好轴。收集自由形式偏好的时间成本低于收集单一偏好，若按每个标签花费的时间计算。标注者在观看一对两个轨迹的视频时可以提供多个标签而非仅一个，而对于单一偏好，他们只能提供一个标签。观察到的加速比为约1.85倍，即提供自由形式偏好比提供单一偏好更快。
实现细节
对于奖励模型学习，允许标注者指定两条轨迹在某个轴上等价；在这种情况下，该标签被丢弃。
计算细节
使用的计算资源为一个H100 GPU，用于策略的完整微调和奖励模型的微调。对于模拟实验，使用了较小的GPU，通常为NVIDIA RTX 4500。
常见问题
自由形式偏好学习与标准偏好学习有何不同？ FPL不将所有判断压缩为一个单一的二元分数，而是要求标注者用自然语言指定判断轴，并为每个轴提供单独的偏好，从而提供更密集且更少歧义的监督。
FPL在长时域任务中有效吗？ 是的，FPL为长时域任务学习更密集的奖励函数，因为标注者可以沿着特定轴（如子任务完成度）分配信用，而非仅进行总体比较。
自由形式偏好标注快多少？ 收集自由形式偏好比收集单一二元偏好每个标签快约1.85倍，因为观看成本在多个轴特定判断之间分摊。
学习到的策略在测试时能否处理不同的偏好维度？ 是的，策略以多个偏好维度为条件，实现了测试时的可引导性，用户可以指定要优化的轴。