HEIR将人的第一视角视频、注视信息和口头请求，与移动机器人的视角和动作配对，构建了一个家居人机交互基准。它评估意图理解、规划、导航和操作能力；真实机器人测试中，抓取与放置成功率为 36.67% 至 68.33%，具体展现了机器人按照人的真实意图行动仍有多大难度。
目录
研究人员构建了什么？
HEIR是一个数据集和基准，用于研究机器人如何在家庭环境中响应人们的请求。它不仅记录机器人的摄像头画面和动作，也捕捉人的视角：第一视角视频（从佩戴者视角录制的视频）、语音和眼动注视。机器人端的记录包括头部和腕部摄像头拍摄的画面、运动和夹爪指令，以及机器人身体状态的测量数据。
数据来自模拟日常生活、厨房和家庭办公室的场景，任务包括取物、递物、移动物品和协作完成任务。参与者用自己的话提出请求，同时由远程操作员操控一台移动式双臂机器人。每段记录包含一系列请求，每个请求都与机器人的响应及其导航和操作子任务相关联。由于同一段记录中的请求共享一个不断变化的环境，后续指令可以提及此前发生的事情。
标注将每个请求与其意图任务、物体、目的地或接收者，以及预期任务结构关联起来。标注还记录机器人实际做了什么以及何时执行。审阅者会对照录制内容核验标签，语言模型则辅助描述子任务及其完成条件。
HEIR报告了哪些结果？
报告中最明确的真实机器人对比针对抓取与放置操作。三种受测系统完成了20项任务，每项任务进行了三次试验。Lingbot-VLA2的成功率最高，为68.33%；FastWAM以60.00%位居其次。第三个受评模型的成功率为36.67%；报告文本未提供其名称。
| 模型 | 真实机器人抓取与放置成功率 |
|---|---|
| Lingbot-VLA2 | 68.33% |
| FastWAM | 60.00% |
| 第三个受评模型 | 36.67% |
这一排名与各系统在离线动作预测中的相对表现一致。离线评估是将模型预测与记录的示例进行比对，而不是让模型在机器人上实际运行。这种一致性表明，在开展成本更高的实体测试前，离线评估有助于筛选操作模型。
HEIR还评估人类意图理解、规划和导航，但报告材料未提供这些对比的数值分数。整体分析强调以人为中心的线索很有价值，同时也指出一个实际挑战：在长任务中，意图理解、规划和机器人动作相互衔接时，错误可能不断累积。因此，研究结果既提供了有用的性能参照，也提醒我们，单个环节表现良好并不意味着整个交互都能成功。
HEIR基准如何运作？
HEIR将家庭互动划分为层级结构。一段会话包含按顺序排列的请求级事件；每个事件都将一个口头请求与机器人的执行过程关联起来。执行过程再划分为导航和操作子任务，例如移动到某个位置，再拿起物体或将物体递给他人。子任务的数量和顺序会根据请求以及机器人的当前状态而变化。
基准首先测试系统能否理解人的意图。机器人移动前，意图推理器会处理每个请求。它利用请求和相关的以人为中心的线索，识别任务、物体、目标实体（例如接收者或目的地）以及名义计划。该计划描述预期的任务结构，为下一阶段提供背景信息，并非机器人必须盲目遵循的固定步骤序列。规划器会根据机器人的状态在线选择实际执行的子任务。
在导航环节，视觉语言导航模型结合自然语言子目标与视觉和空间背景信息，预测运动指令。LiDAR传感器也用于辅助避障。在操作环节，视觉语言动作模型或世界动作模型会预测机器人的运动和夹爪动作。这些模型通过记录的数据进行评估，指标包括动作准确率，以及预测关节运动和末端执行器位置的误差。
真实机器人评估增加了实体测试：不允许人工干预，只有机器人完成整个请求，该请求才算成功。这一区别很重要。模型预测的动作可能与记录的示范相似，但在现实环境中仍可能难以完成一连串子任务。
HEIR为何对机器人技术很重要？
许多机器人被设计为执行明确指定的任务，同时主要把人视为附近的障碍物或指令来源。HEIR关注的是更困难、也更自然的情境：人们会结合上下文提及物体、目的地和先前发生的事情，而手势或注视也能帮助澄清其意图。利用这些线索的机器人，可能比只依赖简短明确指令的机器人更灵活地作出响应。
该基准还为工程师提供了检查交互链条不同环节的方法。如果一项完整的家庭任务失败，分项评估有助于判断问题出在理解请求、选择子任务、导航还是操作物体。将离线预测与实体测试进行比较，有助于在投入反复的机器人测试前识别有潜力的策略。
对于评估服务或辅助工作平台的运营团队而言，HEIR凸显了超越基础移动或抓取的能力：理解指代、应对不断变化的任务顺序，以及在没有人工干预的情况下完成请求。正在了解可用硬件的团队可以浏览待售二手机器人，但也应牢记，仅有平台能力并不能解决交互问题。该基准提供了一个依据，让人们得以探究机器人与人协作的表现，而不只是评估它完成某个孤立动作的能力。
HEIR有哪些局限和待解问题？
HEIR以人为中心的信号包括通过眼动追踪眼镜测得的注视信息，以及从人的视角录制的视频。这些信号对研究很有价值，但也引出了部署层面的问题：不能假定每位用户都会佩戴记录设备。未来的系统需要确定哪些线索可以通过机器人的自身摄像头、语音和交互历史推断出来。
这些场景经过设计，数据采集期间则由另一名操作员远程操控机器人。这种方式能生成有用的家庭互动示例，但演示行为可能与自主系统在陌生家庭中可靠实现的行为不同。报告的真实机器人成功率涵盖抓取与放置任务，并不能证明机器人能端到端地完成基准中的所有长程请求类型。未来还需在不同家庭、不同人群和完整任务中开展评估，才能更清楚地了解该方法的迁移能力。
读者常问哪些关于HEIR的问题？
HEIR代表什么？ 论文将HEIR用作其数据集和基准的名称，全称为 Harness Egocentric Intent for Human-Robot Interactions。
HEIR收集了哪些关于人的信息？ 它记录第一视角视频、语音和测得的注视信息，并将这些信号与机器人的视角、状态和动作对齐。
HEIR评估哪些机器人任务？ 它涵盖家庭互动中的意图理解和子任务规划，也评估导航与操作能力。
HEIR是否证明机器人可以自主完成完整的家庭请求？ 该基准包含真实机器人测试，但这里报告的成功率针对抓取与放置任务，并不涵盖所有长程家庭请求。
主要结论是什么？
HEIR将人类意图和上下文纳入机器人基准，把人的言语和注意焦点与机器人的规划和行动联系起来。研究结果表明，当前已经可以量化实体操作表现，但要实现可靠的长程交互，仍需更好地协调整个任务中的各个环节。
家用机器人应该优先利用哪些人类线索：语音、注视、手势，还是共同的任务历史？