HumanCOIN:面向人类意图的第一人称视角操作数据集

HumanCOIN:面向人类意图的第一人称视角操作数据集

Shihan Wu, You Liu, Chunyu He, Minghui Qin, Longhan Jiao +46 位

2 分钟阅读•2026年11月22日

第一人称视角视觉数据集

Assembly101 对桌面组装任务进行了仪器化采集,包含 4,321 段多视角视频;ARCTIC 记录了对关节式物体的双手操作,包含 2.1 million 帧和 3D 手部—物体标注;HOI4D 记录了 2.4 million 帧 RGB-D 类别级手部—物体交互数据;HoloAssist 则标注了 166 hours 的人类与助手协作,其中包括错误及其纠正过程。

片段时长与任务阶段

片段时长决定单个样本包含多少上下文和步骤,并在很大程度上限制了样本所能支持的训练与评估类型。HumanCOIN 的片段时长并非统一设定,而是随层级、任务类型和难度系统变化。

时长分布。 时长分布呈单峰并带有长尾:密度峰值为 52 seconds,平均值为 88 seconds,最短片段接近 10 seconds,长尾延伸至五分钟以上。各层级呈现出系统性差异。L1 的范围最宽、长尾最重,平均时长为 101 seconds;L2 和 L3 的分布更集中,分别为 65 和 60 seconds。这一差异来自采集流程,而非任务本身:L1 是事后从长时间连续记录中切分出来的,而 L2 和 L3 则是时长受限的脚本化片段;电极稳定性还会进一步缩短最深层级的采集时长。因此,这一差异并不能说明任务难度不同,也不能单凭它推断层级深浅的影响。

任务阶段。 每个片段中的子任务数量,统计的是任务由多少阶段构成,而非标注的时间粒度。L1 的每段子任务数最高,为 11.0,因为自然活动被拆分成许多短步骤;L2 和 L3 则分别降至 8.3 和 7.9,因为固定流程将任务组织为更少、持续更长的阶段。

总体而言,HumanCOIN 在时长和任务结构两个方面都呈现出明显的层级差异:浅层级涵盖时长较长、切分较宽松且多样化的日常活动;深层级则聚焦脚本化、标准化任务,其中同一项工作被组织成更少、持续更长的阶段。时长描述记录窗口,阶段数量描述任务结构,两者共同构成了从自然行为到复杂受控任务的语料谱系。

任务分布

不同层级对任务词汇的处理方式各不相同。L3 保留了 40 个任务动词(40%),这些动词覆盖了 L1 中 77.3% 的任务实例。由于流程固定了任务集合,动词列表会收缩到脚本所规定的任务范围;但实际记录的步骤仍然完整标注:深层级在词汇上有所筛选,却没有缩减记录内容。

综合来看,三个层级的词汇都呈长尾分布;各层级之间权衡的是广度与深度,而非词汇量大小:浅层级将完整词汇分布在日常活动中,深层级则收缩至流程所需的类别,并将记录集中于这些类别。

硬件配置

上文概述的意图代理指标不会自行出现在记录中。只有借助将物理量转换为可测信号的仪器,每项指标才能成为记录;因此,这套设备由一组测量代理组成:测量框架的每个组成部分对应一类仪器,每种仪器都根据其物理可达范围选定。每台仪器都保留自己的时钟、原生采样率和坐标系。本节介绍各层级佩戴的设备、设备部署的两种场景、组织受控采集的两阶段流程,以及生成的数据流如何存储。

场景与流程

一个层级的采集由两项要求共同决定:需要保留多少日常场景信息,以及仪器对信号保真度有多高的要求。两者彼此牵制,语料库则针对不同层级分别处理这种权衡。

两种场景。 L1 和 L2 优先考虑移动性,而非信号深度。它们使用的每件设备都可穿戴,并连接到安装在头带上的计算机,因此操作人员可以在日常环境中活动——站立、转身、行走和做手势,不受固定工作台或线缆限制。这就是开放场景:L1 和 L2 全程在该场景下采集,L3 也会使用该场景,但配置更轻,以降低 EEG 密度换取场景覆盖。这里的“开放”指采集场景,而非任务:开放场景中的采集仍可使用脚本化任务单和布置好的场景。

L3 的权衡方向则相反。高密度电生理记录需要稳定姿势:移动会使电极接触和阻抗变差,记录密度越高,对动作的容忍度就越低。眼动仪、手套和腕部追踪器都接入同一平台,因此采集需要使用不会移动的工作台。采集分为若干短时区块,并在区块之间重新设定基线,以限制漂移。L3 在两种场景下均有采集:在受控场景中,放大器和主机置于专用桌面,操作人员保持静止,采集按意象阶段、执行阶段的顺序进行;在开放场景中,设备由头带计算机驱动,在日常场景中采集,且只进行执行阶段。

受控采集中的意象阶段与执行阶段

受控采集包含两个由提示引导的阶段(例如拿起一个杯子):意象和执行。意象阶段以蓝色屏幕显示,操作人员静坐、双手置于桌面并在脑中预演任务;此阶段只记录 EEG 和注视信息。执行阶段以绿色屏幕显示,同一操作人员操控物体,同时在抓取动作允许的范围内尽量保持头部静止。两个阶段都会有眼动;只有第二阶段会有手部动作。

因此,每个受控片段实际包含三个部分,而不只是两个提示阶段:操作人员安顿就绪的准备阶段、任务序列的意象阶段,以及该序列的执行阶段。由于前两个阶段是在身体静止时采集的,EEG 记录的是任务如何被规划,而非任务如何被执行:既包括步骤序列,也包括每一步所需的动作,且没有动作干扰这些信息。高密度记录的价值正体现在这一配对上:同一任务先在身体静止时作为计划采集,数秒后再作为实际执行采集。开放场景(L1、L2,以及使用轻量配置的 L3)只记录执行阶段。

采集流程。 L1 不提供操作指导:只要求操作人员像平常一样完成活动。L2 和 L3 使用任务单:操作人员按照图示摆放物体,并遵循任务单标出的步骤顺序,从而确保不同采集时段中的同一任务布置一致。在 L3 中,任务按随机顺序呈现,而非分组呈现,以维持参与度并减少 EEG 随时间向困倦状态漂移。操作人员还会按固定间隔轮换场景,避免有人整班只在同一个场景工作,也避免某个场景受到个人习惯的影响。

所有操作人员在采集前都接受统一标准的培训:如何佩戴每件设备、如何开展采集,以及如何记录采集过程。L3 还增加两项要求:操作人员接受培训,在采集过程中保持头部静止;并负责安装和维护电极,使接触质量保持在规定范围内。分配到 L3 的参与者也会经过筛选,以确保 EEG 清晰且稳定。每小时采集后安排十五分钟休息,以维持注意力和精力。

数据存储

各数据流按记录原样存储,并通过引用关联,绝不合并成单个文件。每台设备都有自己的时钟、原生采样率和坐标系;若强行将它们合并为一个数据流,就会丢失语料库旨在保留的时间信息。因此,同步由数据声明,而不是由系统强制执行:写入时不进行重采样或对齐,语料库以多个异步文件的形式保存,每个文件都保留自身的采样率。

质量控制在记录阶段实施,而非留给下游分析。每次采集写入后,都会逐数据流检查——是否有样本丢失或顺序错乱、视频是否黑屏或冻结、通道是否失效、数值是否出现不可能的跳变,以及设备是否缺失。检查未通过的采集会重新采集,而不是修补,因此发布的片段不会将合格部分与修补部分混在一起。检查结果会随片段写入元数据;附录列出检查项目、阈值及各等级的成本。

数据处理

处理按数据流分别进行,因为每种模态的噪声和失效模式都由其自身的测量物理特性决定;只有到最后,各数据流才会汇合。每条数据流都会整理为时间戳、单位、声明的坐标系和对齐报告,五组处理步骤则按照数据依赖顺序展开——同步与校准、几何与运动、注视、电生理,最后是标注,因为标注会使用其他结果。处理链固定,参数按片段记录;步骤失败时会标记出来,而不是填补数据,因此任何一次处理都可以重放。

几何与运动

深度由 RGB 构建。左前方和右前方镜头通过硬件时间戳同步,因此每对立体图像都来自同一时刻;随后将图像对及相机参数输入 FoundationStereo,生成深度图,并连同生成该图所用的内参一并存储。点云按帧生成:利用内参将深度投影到三维空间,再下采样至固定数量。

注视

注视信息通过直接采集和估算两种方式获得。两种方式都会写入相同字段——时间戳和像素坐标——坐标均对应各自读取图像的像素:受控 L3 子集中使用眼动仪的场景相机图像;L1、L2 和开放 L3 子集中使用校正后的头部视角图像。

在受控 L3 子集中,眼动仪针对每位参与者和每次采集进行校准,并以 200 Hz 记录;坐标对应场景相机图像的像素,该相机视频帧率为 30 fps。生成每条记录的校准信息——该相机的内参和畸变参数,以及将视线射线变换到头部坐标系的变换——都会随片段一并提供,因此可以将像素反投影并放置到头部坐标系中。由于 L3 记录的是参考测量,它也为 L1 和 L2 使用的估算器提供测试平台。

HumanCOIN 第一人称视角记录所用场景

电生理

两种数据流都采用固定流程清理。EMG 采用零相位滤波并转换为包络信号。轨迹两端均进行镜像填充,先后以二阶和四阶 Butterworth 滤波段进行正向和反向滤波,通带为 20 至 450 Hz;再以 50 Hz 为中心、带宽为 2 Hz 进行梳状陷波,并在边缘处进行周期扩展和周期对齐,以避免陷波在边缘产生振铃。清理后的轨迹经过整流,为每个通道生成一个包络;原始轨迹则与之并列保存为 *_emg_raw。附录列出滤波阶数、截止频率和填充步骤。

对于操作人员会移动的记录,无法去除动作影响;即使是最深层级,也只是按照流程保持静止。因此,清理后的 EEG 仍包含信号和残余动作噪声:我们发布用于界定噪声的指标——阻抗达标率、插值通道占比,以及标记为伪迹的样本占比;更严格的剔除阈值则由用户自行选择。EMG 的采样率为 2000 Hz,单位为毫伏,每只手臂八个通道;EEG 则以 1000 Hz 采集 128 个盐水电极通道,或以 250 Hz 采集 32 或 8 个凝胶电极通道,单位为微伏。每个通道均以脑区命名,并记录其以千欧为单位的阻抗,作为质量评估输入。

标注与切分

L1 需要采用不同流程。由于被动采集不干预操作过程,原始 L1 记录是一条持续数小时的连续数据流,片段是在采集后切分的:将帧和可用标注交给 VLM,由其提出片段边界和步骤分段,再由人工审核者在发布前确认或调整每个边界。这就是 L1 片段时长差异很大、而受控 L3 采集按脚本进行的原因,也说明 L1 的边界带有切分不确定性,而非提示信号所提供的确定性。

讨论

第一人称视角语料将观察与动作配对,因此回答的是发生了什么;动作为何呈现为这种形式,则取决于先于动作的意图,而意图往往在执行之前就已确定。HumanCOIN 采集这种意图,并在三个信号深度层级记录其代理指标。它能否经受检验,取决于尚未开展的工作;我们先说明其局限,再讨论研究空间。

局限性

这一前提尚未经过检验。意图位于观察与动作之间,且包含观察本身不具备的信息——这一点在此尚未得到验证:该语料库只是让这一假设可以被检验,而策略训练、提前量基线和跨站点质量门槛均不在其范围内。反面可能性也不能排除:意图可能与观察信息冗余,因为注视可以从场景中预测,准备阶段的 EEG 也可能跟随运动学变化。若如此,失效的不是概念本身,而是代理指标;负面结果会把“意图是否冗余?”从一种立场转变为可测量的问题。

覆盖范围与代表性。 L3 占总时长的 4%(500 hours);其受控子集约为 350 hours(2.8%),且这一部分集中在桌面场景中;电极稳定性限制了最密集采集片段的时长。场景和任务的组合并非操控任务的随机样本。L1 由十四个异质单元组成,各单元的相机数量、分辨率、校准方式和声明的坐标系都不相同,因此目前还无法区分 L1 统计量在多大程度上反映行为、又在多大程度上受到设备组成的影响。

标注与可比性。 步骤边界和物体属性都属于人工判断——L1 边界来自自动分段并经人工审核,属性则只在 L2 和 L3 测量。L1、L2 和开放 L3 子集中的手部运动是估算得出的,而受控 L3 子集中的手部运动则经过测量,因此估算部分带有重建误差。数据之间只有部分可比:时间戳、单位、坐标系和校准信息按照各数据源自身的声明发布,而这些声明并不一致;阻抗达标率等质量指标则仅在 L3 中提供。

长尾分布。 词汇呈长尾分布:稀有类别在每个层级中的样本都很少,跨层级比较的统计效力不均衡,而 L3 占比有限,也限制了深层级稀有类别的样本量。因此,“深层级更加集中”只能作定性理解。

研究方向

这些问题都无法仅凭已采集的数据回答。

事前评估。 只有观察和动作时,语料库只能进行事后评估;加入意图后,则可以事前提出问题:意图改变时动作会如何变化、没有发生动作时决策是否仍然可读,以及模型预测的是动作本身还是其背后的意图。这些答案并不取决于

常见问题

HumanCOIN 是什么? HumanCOIN 是一个第一人称视角操作语料库,在三个信号深度层级记录人类意图的代理指标。

HumanCOIN 各层级的片段时长有何不同? L1 片段平均为 101 seconds,而 L2 为 65 seconds,L3 为 60 seconds。这些差异反映的是采集流程,而非任务难度或层级深浅本身。

受控 L3 采集中记录了什么? 一个受控片段包括准备、意象和执行阶段。意象阶段记录操作人员保持静止时的 EEG 和注视信息;执行阶段记录操作人员操控物体的过程。

L1 片段如何切分? L1 记录是持续数小时的连续数据流,因此由 VLM 提出片段边界和步骤分段,再由人工审核者在发布前确认或调整每个边界。