人工智能学会从视线、运动与视频中检测驾驶员驾驶能力受损状态

人工智能学会从视线、运动与视频中检测驾驶员驾驶能力受损状态

John Gideon, Anshul Gupta, Megan Applegate-Kenton, Kayli Battel, Todd J Rowell +5 位

1 分钟阅读•2026年11月18日

一种人工智能模型通过学习驾驶员视线、车辆运动、道路视频及受损状态标签,在提升驾驶能力受损状态检测效果的同时,还能预测驾驶员的视线方向和车辆运动。研究将该模型 ID-MAE 与 DIVERT 数据集结合使用。DIVERT 是一个包含 103 小时数据的模拟器数据集,涵盖 109 名参与者及多种受控的受损情形,为研究需要识别危险人类行为的系统提供了更丰富的测试平台。

目录

研究人员构建了什么?

研究人员构建了两项成果:一个名为 Impaired Driving MAE(ID-MAE)的多模态人工智能模型,以及一个名为 DIVERT 的驾驶数据集。ID-MAE 旨在通过联合学习多种信号来检测驾驶员驾驶能力受损状态,包括眼睛注视方向、车辆轨迹、驾驶场景视频,以及描述驾驶员受损状态的标签。它还会学习预测视线和车辆运动,而不只是针对受损状态进行分类训练。

DIVERT 扩充了用于开发和评估此类模型的数据资源。研究人员在 CARLA 驾驶模拟器中采集了该数据集,设置了受控驾驶任务和危险情境。完整数据集包含 109 名参与者的 103.3 小时驾驶数据。其中,46.42 小时涉及诱发的受损状态,涵盖十种诱导方法和四类情形:认知分心、挫折与压力、视觉分心,以及认知负荷。

这一组合旨在弥补早期数据集的不足:早期数据集可能规模较小、缺少视频或运动数据、采用不同程度的车辆自动化,或只涵盖范围有限的受损类型。DIVERT 提供了多样化的条件,同时保持丰富的数据模态一致。

ID-MAE 多模态编码器—解码器架构概览

主要结果是什么?

在 DIVERT 和现有的 Impaired Driving Dataset(IDD)上,ID-MAE 的表现均优于研究人员评估的基线模型。论文还报告称,与仅使用受损状态标签进行训练相比,重建被掩蔽的视线和轨迹数据有助于提升受损状态检测效果。换言之,让模型学习驾驶员行为模式,能为分类任务本身提供有价值的额外训练信号。

作者还按受损类型分析结果,并评估同时针对多种类型训练的效果。这一点很重要,因为针对一种受损类别训练的检测器,未必能很好地泛化到其他类别。联合训练使模型能够从共通的行为模式中学习,同时仍可评估特定的受损类别。

所提供的论文文本未包含具体检测分数或 AUC 数值,因此无法在此报告性能提升幅度。数据集的规模信息则颇具参考价值:DIVERT 包含 109 名参与者、总计 103.3 小时的数据;IDD 包含 52 名参与者的 23.7 小时数据,涵盖三种受损情形——陈述理解、1-back 任务和酒精 intoxication。

DIVERT 数据中呈现的驾驶危险情境示例

ID-MAE 如何工作?

ID-MAE 使用编码器—解码器 Transformer:这是一种处理信息序列并学习其中各部分关系的神经网络。它不会将每一帧摄像头画面或每次视线测量视为孤立输入,而是将视频、视线、车辆轨迹和受损状态信息整合到同一个模型中。

其训练方法属于掩码扩散。概括来说,输入的部分内容会被隐藏或扰动,模型则学习恢复底层数据。这为模型提供了自监督学习任务:它可以从传感器信号本身学习结构,而不必完全依赖受损状态标签。受损状态以离散词元的形式处理,而视线和轨迹则是连续信号。

模型采用几何相对注意力机制,帮助基于词元之间的空间关系建立联系。注意力机制使 Transformer 能够权衡哪些输入彼此相关;加入基于几何的偏置后,模型还能获知词元之间的相对位置。这一设计旨在帮助模型关联驾驶场景和行为中不同部分的信号。

不同的输出头分别预测不同目标。受损状态输出头会为每种受损类型生成一个分数。视线输出头预测每只眼睛的偏航角和俯仰角,也就是眼球运动的方向。轨迹输出头预测加速度和偏航角速度(即车辆改变航向的速度),随后将这些数值积分,估算速度、位置和航向。与受损状态标签一同预测这些明确的行为目标,有助于模型学习更完整的驾驶行为图景。

这项研究对机器人领域有何意义?

在有人类参与的环境中运行的机器人,往往不只需要理解物理场景,还需要考虑人的注意力、工作负荷和行为。ID-MAE 是一个驾驶研究系统,并非通用机器人安全产品;不过,其核心思路——结合视觉环境与行为信号,并通过学习部分被隐藏的数据来训练——或可为其他人机协作场景中的监测提供参考。

对于自动驾驶汽车,检测驾驶员驾驶能力受损的迹象可支持安全功能,例如提醒驾驶员或调整车辆运行方式。这项研究并未展示已部署的干预措施,但提出了一种利用不止标签信息来开发检测器的方法。其数据集也为研究人员提供了结构化的起点,用于测试模型能否识别不同类型的受损状态,而不只是其中一种。

同样的问题也存在于工业环境中:人员与自动化系统共同执行任务,操作人员的注意力会影响安全协作。评估仓储机器人的团队可将人员状态监测视为整体安全系统的一部分,并与机器人感知和操作规程一并考虑。在实际应用此类方法之前,还需要使用真实操作人员和现实世界传感器进行验证。

有哪些局限和待解问题?

DIVERT 数据采集自模拟器,研究人员因而能比在公共道路上更一致地控制任务和危险情境。这使实验具有可重复性,但不能证明模型在真实车辆、不同摄像头和光照条件、不同驾驶员群体或自然发生的受损状态下也能同样有效。研究涵盖四种诱发的受损类别,范围比许多数据集更广,但仍未覆盖所有不安全驾驶的成因或程度。

报告的结果显示模型有定性改善,但所提供的文本未列出准确的基准分数,因此难以判断提升幅度和可靠性,也无法与其他系统进行数值比较。其他待解问题包括模型的运行速度、如何处理传感器缺失或噪声,以及其预测是否足够可靠,能否用于安全关键决策。这些都是从有前景的基准测试结果迈向实际工具的重要环节。

常见问题有哪些?

ID-MAE 检测什么? 它利用视线、车辆轨迹、场景视频和受损状态标签对受损状态进行分类。论文评估的是受控受损情形,并未将其作为临床诊断系统。

DIVERT 是什么? DIVERT 是一个 CARLA 模拟器数据集,包含 109 名参与者的 103.3 小时驾驶数据,其中包括涵盖四类受损状态的十种诱导方法。

ID-MAE 只对受损状态进行分类吗? 不是。它还会预测视线方向和车辆运动,包括加速度和偏航角速度。这些额外的预测任务有助于模型从行为和标签中学习。

模型在真实道路上测试过吗? 文中介绍的 DIVERT 数据来自驾驶模拟器。所提供的文本未报告真实道路部署测试。

结论是什么?

ID-MAE 将受损状态分类与驾驶员行为的重建和预测结合起来,并在两个驾驶数据集上优于报告中的基线模型。DIVERT 则提供了规模更大、类型更多样的模拟器数据资源,可用于研究此类模型在不同受控受损情形下的表现。

在部署驾驶能力受损检测器之前,最重要的真实世界测试会是什么?