Los vehículos autónomos y los robots móviles dependen en gran medida de sensores LiDAR para obtener representaciones tridimensionales, en forma de nubes de puntos, de su entorno. Estos sensores proporcionan información geométrica precisa que permite a los sistemas de percepción comprender entornos exteriores complejos. Dentro de esta arquitectura de percepción, la segmentación semántica de LiDAR desempeña un papel central al asignar una etiqueta semántica a cada punto de la nube 3D, lo que permite al sistema distinguir elementos relevantes de la escena, como vehículos, peatones, carreteras y edificios. Esta comprensión semántica resulta esencial para tareas posteriores como la detección de objetos, la interpretación de la escena y la toma de decisiones, fundamentales para una navegación autónoma segura.
Introducción
Se establece un protocolo de evaluación unificado en torno a tres pilares complementarios que recogen requisitos clave de la percepción para la conducción autónoma.
La evaluación con etiquetas agrupadas analiza el rendimiento de la segmentación semántica mediante agrupaciones de etiquetas alineadas con las prioridades de seguridad de la conducción autónoma. Además de informar de los resultados con taxonomías más generales, el rendimiento de los modelos se analiza con etiquetas de grano fino y grueso, lo que permite determinar hasta qué punto los resultados de los benchmarks están condicionados por el nivel de detalle de las anotaciones. El marco COLA define una taxonomía orientada a la seguridad que agrupa clases semánticamente relacionadas según su relevancia para la conducción autónoma.
La evaluación de robustez mide el rendimiento de los modelos ante ocho tipos de corrupciones sintéticas de LiDAR diseñadas para imitar degradaciones realistas de la percepción. Estas incluyen efectos atmosféricos como niebla, lluvia y nieve; perturbaciones geométricas como desenfoque de movimiento y haces ausentes; y artefactos inducidos por el sensor, como diafonía, ecos incompletos y variaciones entre sensores. Las corrupciones se analizan tanto de forma individual como por categorías, lo que permite comparar sistemáticamente las características de robustez de distintas arquitecturas. Junto con los resultados de robustez, se informa de la velocidad de inferencia en hardware embebido Jetson AGX Orin para cuantificar el equilibrio entre robustez y eficiencia computacional.
La evaluación de generalización entre dominios analiza la capacidad de los modelos entrenados con un conjunto de datos para operar en un dominio objetivo no visto previamente, sin ningún tipo de adaptación. En concreto, los modelos se entrenan con SemanticKITTI y nuScenes y se evalúan directamente en ParisLuco3D, sin adaptación. Este escenario mide la generalización entre distintos entornos geográficos, condiciones de adquisición y distribuciones de datos. Al comparar el rendimiento en los dominios de origen y objetivo, se cuantifica la magnitud de la degradación entre dominios y se evalúa la robustez de los métodos frente al desplazamiento de distribución.
Mediante este protocolo se evalúa un conjunto representativo de métodos de vanguardia que abarca arquitecturas basadas en puntos, proyecciones, convoluciones dispersas y fusión. Todos los modelos se vuelven a entrenar desde cero con configuraciones de entrenamiento coherentes para garantizar una comparación justa. El análisis resultante ofrece una caracterización exhaustiva de las fortalezas y limitaciones de los enfoques actuales de segmentación semántica de LiDAR y revela los compromisos entre precisión semántica, robustez, capacidad de generalización y eficiencia computacional. Estas conclusiones contribuyen a una evaluación más realista de la idoneidad de los modelos para aplicaciones de conducción autónoma.
Protocolos de evaluación para la segmentación semántica de LiDAR
Tradicionalmente, la evaluación de la segmentación semántica de LiDAR ha seguido la partición estándar de cada benchmark, con SemanticKITTI y nuScenes como principales referencias. Estos protocolos miden la precisión dentro de la distribución utilizando taxonomías de clases detalladas y nubes de puntos sin corrupción, lo que no refleja plenamente los desafíos del despliegue en el mundo real.
A diferencia de los protocolos de evaluación anteriores, que suelen centrarse en un único aspecto del rendimiento del modelo, este protocolo integra la coherencia semántica, la robustez, la generalización entre dominios y la eficiencia computacional en un marco de evaluación unificado. Al evaluar estas dimensiones bajo condiciones experimentales coherentes, proporciona una valoración más completa de la idoneidad de los modelos para su despliegue real en conducción autónoma.
Protocolo de evaluación
Un protocolo de evaluación estructurado analiza la preparación para el despliegue de modelos de segmentación semántica de LiDAR. El protocolo se organiza en torno a tres dimensiones complementarias que caracterizan el comportamiento de los modelos en condiciones relevantes para la conducción autónoma real: semántica de etiquetas orientada a la seguridad, condiciones de percepción adversas y transferencia entre dominios. Además, la eficiencia computacional se evalúa mediante la velocidad de inferencia en una GPU NVIDIA RTX 4090 y en una plataforma embebida Jetson AGX Orin. Todos los modelos evaluados se vuelven a entrenar desde cero bajo condiciones de entrenamiento coherentes para garantizar una comparación justa.
Evaluación con etiquetas agrupadas para valorar la seguridad
Los benchmarks estándar, como nuScenes y SemanticKITTI, evalúan los modelos mediante taxonomías de clases detalladas, con 16 y 19 clases, respectivamente.
Aunque estas anotaciones permiten comprender la escena con gran detalle, las etiquetas de grano fino pueden dar lugar a evaluaciones excesivamente estrictas que penalizan predicciones semánticamente razonables desde una perspectiva de seguridad y operativa. En particular, las confusiones entre clases funcionalmente similares, como coche y camión o ciclista y motociclista, pueden reducir considerablemente la intersección media sobre la unión, pese a tener un impacto limitado en muchas decisiones de conducción autónoma. Por ejemplo, confundir un coche con un camión normalmente daría lugar a un comportamiento de frenado o evasión similar, aunque la evaluación convencional de grano fino lo contabilice como un error completo.
Para abordar esta limitación, el marco COarse-LAbel agrupa las etiquetas semánticas específicas de cada conjunto de datos según su función en la navegación autónoma. Además de informar del rendimiento con etiquetas agrupadas, se analiza cómo evoluciona el rendimiento de los modelos al pasar de taxonomías de grano fino a taxonomías más generales.
Robustez ante corrupciones de LiDAR del mundo real
En los despliegues reales, los sensores LiDAR operan en un amplio abanico de condiciones que deterioran la calidad de las nubes de puntos de formas que los benchmarks sin corrupción no reflejan. Para evaluar la robustez de manera sistemática, se adoptan los conjuntos de datos con corrupciones nuScenes-C y SemanticKITTI-C del benchmark Robo3D. Los modelos se entrenan con conjuntos de datos limpios y se evalúan directamente con sus versiones corruptas, sin ajuste fino, para garantizar que la evaluación refleje la robustez fuera de distribución.
Robo3D introduce ocho tipos de corrupción organizados en tres grupos semánticamente significativos:
- Atmosféricas: niebla, suelo mojado y nieve, condiciones ambientales que afectan a la propagación del láser.
- Geométricas: desenfoque de movimiento y ausencia de haces, que representan la dinámica del movimiento y los efectos de la pérdida de haces.
- Del sensor: diafonía de LiDAR, eco incompleto y variación entre sensores, que reflejan características internas del sensor o diferencias de hardware.
Se adopta el Error medio de corrupción, o mCE, como métrica principal de robustez.
Generalización entre dominios
La generalización entre dominios evalúa la capacidad de un modelo para operar en entornos no vistos previamente sin adaptación ni acceso a datos del dominio objetivo durante el entrenamiento. En el contexto de la segmentación semántica de LiDAR, esto exige robustez frente a cambios en las características de los sensores, la apariencia del entorno y la composición de las escenas.
Los modelos se evalúan mediante un protocolo de un único dominio de origen a un único dominio objetivo: un modelo entrenado con un conjunto de datos de origen se evalúa directamente en un conjunto de datos objetivo no visto, sin adaptación. nuScenes y SemanticKITTI se utilizan como conjuntos de datos de origen, mientras que ParisLuco3D se emplea como dominio objetivo. ParisLuco3D se diseñó específicamente para la evaluación entre conjuntos de datos y difiere de ambos conjuntos de entrenamiento en el entorno geográfico, las condiciones de adquisición y la composición de las escenas.
La evaluación se realiza con la taxonomía de etiquetas nativa y de grano fino de cada conjunto de datos de origen. Puesto que no se aplica ninguna agrupación de etiquetas ni adaptación, las puntuaciones de intersección sobre la unión por clase resultantes reflejan todo el impacto del desplazamiento de dominio en el rendimiento detallado de la segmentación semántica.
Conclusión
Se ha presentado un protocolo de evaluación unificado para analizar la preparación para el despliegue de modelos de segmentación semántica de LiDAR mediante tres dimensiones complementarias: evaluación de seguridad con etiquetas agrupadas, robustez ante corrupciones del mundo real y generalización entre dominios, junto con mediciones del tiempo de inferencia en una plataforma embebida Jetson AGX Orin y una GPU RTX 4090.
Los resultados muestran que la precisión en benchmarks limpios predice mal la preparación para el despliegue. Los métodos que ocupan los primeros puestos en las métricas estándar pueden fallar en clases críticas para la seguridad, como los seres vivos, degradarse sustancialmente ante corrupciones del sensor o sufrir importantes caídas de rendimiento ante desplazamientos de dominio; en general, los métodos basados en proyecciones muestran una mayor sensibilidad a las variaciones del sensor y de la escena. Ningún método de vanguardia logra por sí solo un equilibrio sólido entre precisión, robustez, generalización y eficiencia computacional.
El protocolo propuesto ofrece un marco reproducible para evaluar modelos de segmentación semántica de LiDAR más allá de los benchmarks convencionales, permite valorar de forma más completa su preparación para el despliegue, fomenta prácticas de evaluación más realistas y orienta el diseño futuro de modelos para la percepción de vehículos autónomos en el mundo real.
Preguntas frecuentes
¿Qué hace la segmentación semántica de LiDAR? Asigna una etiqueta semántica a cada punto de una nube de puntos 3D de LiDAR y distingue elementos como vehículos, peatones, carreteras y edificios.
¿Cuáles son las tres dimensiones principales de evaluación? Son la evaluación de seguridad con etiquetas agrupadas, la robustez ante corrupciones de LiDAR y la generalización entre dominios y conjuntos de datos.
¿Qué conjuntos de datos se utilizan para la generalización entre dominios? Los modelos se entrenan con nuScenes o SemanticKITTI y se evalúan sin adaptación en ParisLuco3D.
¿Qué plataformas de hardware se utilizan para medir la velocidad de inferencia? La velocidad de inferencia se mide en una GPU NVIDIA RTX 4090 y en una plataforma embebida Jetson AGX Orin.