机器人在雪地行驶时，即使普通摄像头看到的几乎只有一片白色，也能沿着实际的车辙前进。Yiming Yang 和 Jeremy P. Bos 构建了一种自监督检测器，结合可见光图像与热成像来识别车辙。研究报告称，与仅使用 RGB 的基线方法相比，该方法的假阴性率降低了 69.74%，同时假阳性率为 0.014。这种方法旨在实现冬季自主行驶，无需大量手工标注。
研究人员构建了什么？
研究人员构建了一套基于图像的系统，结合标准彩色图像（即 RGB 图像）与热成像来识别雪地车辙。系统不会将整条可见道路都视为同等安全，而是寻找先前车辆留下的较窄车辙。与两侧松散的积雪相比，这些被压实的路径能为车辆提供更好的牵引力和横向引导。
该方法使用神经网络在摄像头图像中标记车辙。训练过程部分采用自监督方式：将记录到的车辆轨迹投影到图像帧中，为数据采集车辆驶过的车辙生成标签。这减少了人工逐条绘制车辙的需要。由于没有与对向车辆车辙相对应的轨迹数据，这些车辙仍需人工标注。
为开展测试，研究团队基于 WADS 构建了一个专注于冬季场景的数据集。WADS 是一个在恶劣天气条件下采集的传感器数据集。整理后的数据集包含 951 张原始图像。通过图像增强——例如翻转、旋转和调整亮度——训练素材扩充至 7,608 张图像。研究目标是提供一种实用方法，让积雪遮蔽常见道路特征时，自动驾驶车辆仍能获得有用的路径线索。
关键结果是什么？
核心结果是：在 RGB 图像之外使用热成像，可显著减少漏检车辙的情况。论文报告称，与仅使用 RGB 的基线方法相比，假阴性率降低了 69.74%。假阴性是指检测器未能识别实际存在的车辙；如果车辆依靠车辙引导路线，这会造成重要影响。报告的假阳性率为 0.014。
| 报告结果 | 数值 | 重要性 |
|---|---|---|
| 相较于仅使用 RGB，假阴性率的降幅 | 69.74% | 加入热成像后，检测器漏掉的实际车辙更少。 |
| 假阳性率 | 0.014 | 系统报告的误将非车辙区域标记为车辙的比率仍然较低。 |
| 整理后数据集中的原始图像 | 951 | 研究聚焦于规模相对较小的一组冬季图像。 |
| 增强后的训练图像 | 7,608 | 数据变换将训练素材扩充至原来的八倍。 |
研究人员还测试了不同的网络设计，并报告称，注意力门和空洞卷积模块提升了性能。注意力门帮助网络聚焦于最相关的图像区域；空洞卷积则能捕捉多个空间尺度的信息。消融实验结果也表明，当积雪的可见对比度较低时，热成像尤其有用。
评估指标包括与阈值无关的 AUROC，用于衡量模型对正例和负例排序的能力；以及道路检测指标，如最大 F1 分数、平均精确率、精确率和召回率。报告的摘要没有提供每个模型和指标的完整数值，因此标题中的对比是目前最明确的定量结果。
检测系统如何工作？
检测器结合了同一片雪地场景的两种视图。RGB 摄像头记录可见颜色和纹理，但新雪可能看起来几乎均匀，遮住基于摄像头的系统通常会利用的边缘和表面纹理。热成像摄像头记录红外辐射，可以呈现轮胎压实的积雪与周围较松散积雪之间、由温度相关差异产生的特征。研究人员利用这些互补信号，让车辙更容易辨认。
训练标签来自两种途径。针对车辆自身行驶的路径，系统将记录到的车辙轨迹投影到对应的图像帧中，自动生成标签，并将车辙位置与车辆实际行驶的位置对应起来。对于对向车道上的车辙，数据集中没有相应的轨迹记录，因此由人工标记。研究团队报告称，这项额外工作每张图像约需 8–10 秒，为全部 951 张原始图像标注则约需 2.5 小时。
该模型是一种分割系统：它将图像像素划分到不同类别，包括车辙和周围地形。实验改造了多种成熟的网络设计，包括 U-Net、ResNet18、PSPNet 和 DeepLabv3+。注意力门用于优化网络重点关注的特征。空洞卷积模块扩大了每一层可解读的区域，而不只是缩小图像，帮助检测器结合精细的车辙细节与周围环境信息。研究人员调整了网络设计，以避免重复使用部分模型中已有的多尺度处理。
性能评估既覆盖不同置信度阈值，也在选定阈值下进行。AUROC 概括模型整体区分车辙与非车辙样本的能力。精确率和召回率衡量正向检测的准确性与覆盖度，假阳性率和假阴性率则跟踪两类主要错误。数据集还经过缩放、加噪和透视变换等增强处理，使模型在训练期间接触更多视觉变化。
这对机器人技术为何重要？
在雪地环境中，仅识别道路的大致轮廓并不总是足够。宽泛的可通行性地图或许能告诉机器人一大片积雪区域可以通行，却无法区分稳定、压实的车辙与较软的积雪；后者可能增加打滑风险或能耗。车辙检测能为导航系统提供更具体的线索：先前车辆已经行驶过哪里。
这一线索有助于自动驾驶车辆和移动机器人选择牵引力更好、横向偏移更少的路线。当车道标线、道路边缘或其他视觉地标被降雪覆盖时，它也有望让行驶更加可靠。该方法适用于冬季道路作业，也适用于积雪表面降低传统摄像头感知可靠性的越野场景。
这项研究的成果属于感知技术，并非完整的自动驾驶系统。车辆仍需结合路径规划、定位和控制来使用检测到的车辙，并检查沿车辙行驶是否依然安全。评估冬季机器人试点平台的团队也可以浏览二手机器人出售信息，以此寻找测试硬件。
有哪些局限和未解问题？
评估集中于 WADS 冬季数据集整理出的 951 张原始图像。数据增强能增加训练样本的多样性，但不能替代对更多真实场景、车辆和天气条件的采集。系统对对向车辆车辙的检测仍依赖人工标注，因此自监督并未完全消除标注工作。
报告结果并未证明检测器能否迁移到雪泥、冰面、泥地、积水路面、夜间驾驶、雾天或车灯眩光等场景。研究也没有展示其预测结果在车辆持续运行的完整系统中的表现。热成像摄像头会带来硬件和集成方面的要求，论文也未报告完整的成本或部署评估。研究人员提出的未来工作包括时序建模、车辆动力学集成、更广泛的环境测试以及仿真。
读者常问什么？
机器人已经有 RGB 摄像头了，为什么还要使用热成像？ 积雪可能几乎没有可见纹理，使车辙难以从周围环境中区分出来。热成像提供了不同的信号，有助于呈现压实积雪与松散积雪之间的差异。
检测器需要人工为每张图像标注吗？ 不需要。轨迹可以自动为车辆自身的车辙生成标签；对于没有对应轨迹数据的车辙，例如对向车辆留下的车辙，则由人工标注。
该系统比仅使用 RGB 的检测方法好多少？ 论文报告称，与仅使用 RGB 的基线方法相比，假阴性率降低了 69.74%；报告的假阳性率为 0.014。
该系统能引导机器人在冰面或泥地行驶吗？ 报告的实验尚未验证这些环境。研究人员将测试方法向其他地表的迁移能力列为未来工作。
核心结论是什么？
热成像与 RGB 融合，为机器人在积雪遮挡普通视觉线索时识别车辙提供了更清晰的方法。报告的漏检率降幅令人鼓舞，但在将该方法视为完整的冬季驾驶解决方案之前，还需要开展更广泛的测试，并将其集成到车辆导航系统中。
研究人员下一步应该测试哪些冬季条件，以证明该方法已适合实地应用？