自动驾驶车辆和移动机器人广泛依赖 LiDAR 传感器，以获取周围环境的三维点云表示。这类传感器能够提供精确的几何信息，帮助感知系统理解复杂的室外环境。在整个感知系统中，LiDAR 语义分割发挥着核心作用：它为三维点云中的每个点分配语义标签，使系统能够区分车辆、行人、道路和建筑物等重要场景元素。这种语义理解是目标检测、场景解析和决策等下游任务的基础，而这些任务对于安全的自主导航至关重要。
引言
我们构建了一套统一的评估协议，围绕三个相互补充的支柱展开，用于覆盖自动驾驶感知的关键需求。
粗粒度标签评估根据自动驾驶安全优先级划分标签组，评估语义分割性能。除报告粗粒度分类体系下的结果外，还分别使用细粒度和粗粒度标签分析模型性能，从而揭示基准测试结果在多大程度上受到标注粒度的影响。COLA 框架定义了一套面向安全的分类体系，依据各类别对自动驾驶的相关性，将语义上相近的类别归为一组。
鲁棒性评估通过八类合成 LiDAR 损坏测试模型性能，用于模拟真实传感过程中的退化。这些损坏包括雾、雨、雪等大气影响；运动模糊、激光束缺失等几何扰动；以及串扰、不完整回波和跨传感器差异等传感器伪影。我们分别按单项和类别分析这些损坏，从而系统比较不同架构的鲁棒性特征。同时，在 Jetson AGX Orin 嵌入式硬件上报告推理速度，以量化鲁棒性与计算效率之间的权衡。
域泛化评估考察模型在一个数据集上训练后，能否在完全未见过的目标域中直接运行而无需任何适配。具体而言，模型在 SemanticKITTI 和 nuScenes 上训练，并直接在 ParisLuco3D 上评估，不进行任何适配。该设置用于衡量模型跨越不同地理环境、采集条件和数据集分布的泛化能力。通过比较源域和目标域上的性能，可以量化跨域性能下降程度，并评估方法应对分布偏移的鲁棒性。
基于这套协议，我们评估了一组具有代表性的先进方法，涵盖基于点、基于投影、基于稀疏卷积和基于融合的架构。所有模型均在一致的训练设置下从头重新训练，以确保比较公平。分析结果全面刻画了当前 LiDAR 语义分割方法的优势与局限，并揭示语义准确率、鲁棒性、泛化能力和计算效率之间的权衡。这些洞见有助于更真实地评估模型是否适合自动驾驶应用。
LiDAR 语义分割的评估协议
传统上，LiDAR 语义分割评估遵循各基准数据集的标准划分，其中 SemanticKITTI 和 nuScenes 是主要参考。此类协议使用细粒度类别体系和干净点云数据测量分布内准确率，无法充分反映真实部署中的挑战。
不同于通常只关注模型某一方面性能的既有评估协议，本协议将语义一致性、鲁棒性、域泛化能力和计算效率整合到统一的评估框架中。在一致的实验条件下评估这些维度，可以更全面地判断模型是否适合真实世界的自动驾驶部署。
评估协议
我们设计了一套结构化评估协议，用于衡量 LiDAR 语义分割模型的部署就绪度。该协议围绕三个互补维度组织，刻画模型在真实自动驾驶相关条件下的表现：面向安全的标签语义、恶劣传感条件和跨域迁移能力。此外，还通过 NVIDIA RTX 4090 GPU 和 Jetson AGX Orin 嵌入式平台上的推理速度评估计算效率。所有模型均在一致的训练条件下从头重新训练，以确保比较公平。
面向安全评估的粗粒度标签
nuScenes 和 SemanticKITTI 等标准基准分别使用包含 16 类和 19 类的细粒度类别体系评估模型。
虽然这些标注能够支持细致的场景理解，但从安全和运行角度看，细粒度标签可能造成过于严苛的评估，惩罚那些语义上合理的预测。尤其是汽车与卡车、骑自行车者与骑摩托车者等功能相近类别之间的混淆，可能显著降低报告中的平均交并比，尽管这类混淆对许多自动驾驶决策的影响十分有限。例如，将汽车误判为卡车通常仍会触发相似的避让或制动行为，但在传统细粒度评估中却会被视为完全错误。
为解决这一局限，COarse-LAbel 框架依据各语义标签在自主导航中的功能作用，对不同数据集的标签进行分组。除报告粗粒度标签性能外，我们还分析模型性能从细粒度分类体系过渡到粗粒度分类体系时的变化。
真实 LiDAR 损坏条件下的鲁棒性
在真实部署中，LiDAR 传感器会在各种条件下工作，这些条件会以干净基准数据无法体现的方式降低点云质量。为了系统评估鲁棒性，我们采用 Robo3D 基准中的损坏数据集 nuScenes-C 和 SemanticKITTI-C。模型在干净数据集上训练，再直接在损坏版本上评估，不进行微调，以确保评估结果能够反映分布外鲁棒性。
Robo3D 引入了八类损坏，并将其组织为三个具有明确语义的组：
- 大气：雾、湿地面和雪，这些环境条件会影响激光传播。
- 几何：运动模糊和激光束缺失，分别代表运动动态和激光束丢失效应。
- 传感器：LiDAR 串扰、不完整回波和跨传感器差异，反映传感器内部特性或硬件差异。
我们采用平均损坏误差（mean Corruption Error，简称 mCE）作为主要鲁棒性指标。
域泛化
域泛化评估模型在训练期间无法接触目标域数据、也不进行任何适配的情况下，在未见过的环境中运行的能力。对于 LiDAR 语义分割而言，这要求模型能够适应传感器特性、环境外观和场景构成的变化。
我们采用单源域到单目标域的协议进行评估：模型在源数据集上训练后，直接在未见过的目标数据集上评估，不进行适配。nuScenes 和 SemanticKITTI 用作源数据集，ParisLuco3D 用作目标数据集。ParisLuco3D 专为跨数据集评估设计，在地理环境、采集条件和场景构成方面均不同于两个训练数据集。
评估使用每个源数据集原生的细粒度标签体系。由于不进行标签分组或域适配，最终得到的逐类别交并比能够反映域偏移对详细语义分割性能的完整影响。
结论
我们提出了一套统一评估协议，通过三个互补维度评估 LiDAR 语义分割模型的部署就绪度：粗粒度标签安全评估、对真实损坏的鲁棒性，以及跨域泛化能力；同时测量模型在 Jetson AGX Orin 嵌入式平台和 RTX 4090 GPU 上的推理运行时间。
结果表明，干净基准上的准确率并不能很好地预测模型的部署就绪度。在标准指标上排名靠前的方法，可能在生物体等安全关键类别上表现失效，在传感器损坏下大幅退化，或在域偏移下出现显著性能下降；其中，基于投影的方法通常对传感器和场景变化更为敏感。当前没有任何一种先进方法能够在准确率、鲁棒性、泛化能力和计算效率之间实现全面出色的平衡。
所提出的协议为超越传统基准评估 LiDAR 语义分割模型提供了可复现的框架，能够更全面地判断模型的部署就绪度，推动更加贴近现实的评估实践，并为面向真实自动驾驶感知的未来模型设计提供指导。
常见问题
LiDAR 语义分割的作用是什么？ 它为三维 LiDAR 点云中的每个点分配语义标签，从而区分车辆、行人、道路和建筑物等元素。
三个主要评估维度是什么？ 分别是粗粒度标签安全评估、对 LiDAR 损坏的鲁棒性，以及跨数据集的域泛化能力。
域泛化使用了哪些数据集？ 模型在 nuScenes 或 SemanticKITTI 上训练，并在不进行适配的情况下于 ParisLuco3D 上评估。
使用哪些硬件平台测量推理速度？ 推理速度在 NVIDIA RTX 4090 GPU 和 Jetson AGX Orin 嵌入式平台上测量。