Datos de nubes de puntos
En el contexto de la percepción automotriz, estos datos no estructurados proceden principalmente de sensores LiDAR, que miden la distancia entre el propio vehículo y el espacio circundante, ya sea mediante el método convencional de medición del tiempo de vuelo o mediante una señal láser modulada en frecuencia. Los sistemas LiDAR autónomos constituyen la columna vertebral sensorial de la conducción autónoma: proporcionan un flujo continuo de estructuras geométricas complejas, susceptibles a la dispersión dependiente del alcance y a las fluctuaciones provocadas por fenómenos atmosféricos.
Paradigmas de redes neuronales perceptivas para la comprensión 3D
El aprendizaje profundo 3D se articula en tres categorías principales, cada una de las cuales opera con un nivel diferente de granularidad espacial y semántica.
Clasificación 3D de nubes de puntos
Esta tarea global consiste en predecir una única etiqueta semántica para toda una nube de puntos. Sirve como línea base arquitectónica para evaluar las capacidades de extracción de características. En la Sección 2.3.1 se ofrece una explicación más detallada.
Detección 3D de objetos
Más allá del reconocimiento global de formas, la detección de objetos busca localizar y categorizar objetos concretos dentro de una nube de puntos o una secuencia de nubes de puntos. Normalmente, esto se consigue trazando cajas delimitadoras 3D y prediciendo así las medidas espaciales del objeto, como su traslación y sus dimensiones volumétricas. Los enfoques modernos, como VirConv, aprovechan la fusión multimodal de las entradas de sensores LiDAR y de las cámaras.
Para procesar la naturaleza desordenada y no estructurada de los conjuntos de puntos, las redes de clasificación han desarrollado varias metodologías fundamentales, cada una con distintos compromisos entre eficiencia computacional y fidelidad geométrica. La siguiente sección ofrece una breve panorámica de los métodos actuales. Para profundizar, se recomienda consultar el artículo de Zhang et al.
Arquitecturas multivista
Las arquitecturas multivista evitan la naturaleza no estructurada de los datos de nubes de puntos 3D proyectando las coordenadas originales sobre uno o varios planos 2D predefinidos y transformando así el problema al dominio basado en imágenes. Una vez proyectada, la imagen puede clasificarse mediante CNN 2D de gran eficiencia. Esta estrategia reduce las anomalías de procesamiento causadas por las variaciones en la densidad de las nubes de puntos.
Sin embargo, los métodos multivista requieren un preprocesamiento geométrico considerable e introducen una pérdida irreversible de información de profundidad durante la proyección. Para reducir el riesgo de oclusión por perspectiva, la red debe apoyarse en un conjunto de puntos de vista de cámara, lo que incrementa aún más el coste computacional.
Métodos de explicabilidad en el aprendizaje profundo 3D
A medida que las arquitecturas de redes neuronales se vuelven cada vez más complejas, funcionan fundamentalmente como «cajas negras»: no queda claro por qué una instancia concreta se ha clasificado exactamente de una manera y no de otra. En ámbitos críticos para la seguridad, como la conducción autónoma y el diagnóstico médico, es fundamental generar confianza en los modelos. No basta con confiar ciegamente en la elevada precisión de validación del modelo; también debemos comprender cómo la arquitectura subyacente llega a esa interpretación geométrica, por ejemplo, si identifica trenes basándose en las vías cercanas o en el propio vehículo.
Para abrir estas cajas negras han surgido dos grandes clases de métodos locales de explicabilidad.
Métodos basados en gradientes
Estos marcos intentan explicar el modelo PointNet subyacente calculando el gradiente de las características durante la propagación hacia atrás y desplazando sistemáticamente los puntos hacia el centroide de la instancia para aislar su importancia estructural. Son métodos muy eficientes desde el punto de vista computacional, ya que solo requieren una pasada hacia atrás. Sin embargo, dependen estrictamente del modelo: solo pueden aplicarse a arquitecturas completamente diferenciables.
Métodos basados en modelos sustitutos locales
Enfoques como LIME-3D no dependen del modelo; tratan la red subyacente como una «caja negra». Agrupan el modelo en clústeres locales y generan variantes perturbadas eliminando clústeres, para observar después los cambios en la clasificación producida por la red. Por tanto, estos métodos son muy interpretables para las personas, pero tienen un coste computacional enorme y sufren de «neutralización de contribuciones», fenómeno por el que las activaciones positivas y negativas de los puntos de un mismo clúster se cancelan entre sí.
En última instancia, estos métodos locales de explicabilidad funcionan muy bien a nivel individual y punto a punto, pero están fundamentalmente limitados porque no pueden explicar globalmente clases semánticas completas. Para explicar clases de forma global ya existen otros métodos.
Métodos de submuestreo de nubes de puntos
En aplicaciones reales, las nubes de puntos 3D pueden estar compuestas por millones de puntos, especialmente cuando se capturan con escáneres LiDAR. Esto genera un flujo de datos enorme que a menudo supera las capacidades del hardware edge. El submuestreo constituye una fase esencial de preprocesamiento geométrico, diseñada para descartar puntos sistemáticamente del conjunto inicial con el fin de reducir el consumo de memoria y el tiempo total de ejecución, manteniendo al mismo tiempo una elevada precisión. La bibliografía divide principalmente las metodologías de submuestreo en tres enfoques algorítmicos distintos.
Cerrando la brecha entre el sensor y la realidad
Aunque las implementaciones existentes mencionadas anteriormente demostraron la viabilidad de desplegar PointNet en hardware edge, su evaluación se basó exclusivamente en instancias muestreadas uniformemente del conjunto de datos ModelNet. Estas instancias están completamente libres de ruido ambiental. Para cerrar esta brecha, este flujo de trabajo utiliza BLAINDER, un complemento de código abierto para Blender diseñado para simular sensores de profundidad, como Sonar y LiDAR. Mediante métodos de trazado de rayos basados en la física, en lugar de simples coordenadas primitivas, construimos un conjunto de datos robusto para entrenar y validar la red. Este conjunto hereda el ruido y las imperfecciones geométricas.
Para evaluar exhaustivamente los límites de clasificación de PointNet, derivamos dos conjuntos de datos distintos, disponibles públicamente para reproducir nuestros resultados y, esperamos, mejorarlos.
Conjunto de datos LiDAR genérico
Como grupo de control, este conjunto de datos utiliza el preajuste genérico presentado por BLAINDER, fijado en una única perspectiva. Al igual que en el conjunto de datos rotacional, aquí también existen un subconjunto «limpio» y otro «ruidoso».
Dado que la lógica de generación de datos se basa en un script adaptable, es totalmente posible construir soluciones a medida. El flujo puede adaptarse para incorporar ruido dependiente de las condiciones meteorológicas, como la lluvia; aumentar la media y la desviación estándar; o cambiar por completo los perfiles de los sensores, según la aplicación objetivo.
Reducción de datos guiada por características: Critical Point Layer
Para extraer características en la arquitectura PointNet, los puntos se procesan primero de forma independiente mediante un MLP compartido, con el fin de obtener características adicionales. A continuación, estas características se procesan mediante una operación global de max-pooling. Una observación clave de los autores fue que la capacidad de clasificación final del modelo depende exclusivamente de un pequeño subconjunto de los datos de entrada: los puntos críticos. Estos puntos críticos presentan las activaciones más altas en la operación de max-pooling. Además, representan los límites geométricos globales y los puntos de referencia de la forma.
Aunque se elimine hasta the unspecified proportion of input points de los puntos de entrada, los autores observaron que el rendimiento de clasificación solo descendía en the unspecified amount al utilizar muestreo aleatorio, por lo que se mantenía un rendimiento de clasificación adecuado. Esto demostró que PointNet es muy robusto frente a la pérdida de datos, siempre que no se descarten los puntos críticos. Como un mismo punto puede dominar muchas columnas en la operación de max-pooling, el número real de puntos críticos únicos que determinan la clasificación es bastante reducido.
Entrenamiento de CPL
El frontend de CPL se construyó mediante un MLP compartido punto a punto, que se expande de 3 a 64 canales y después pasa por 128 hasta alcanzar 1024 canales. A continuación, se utilizó un bloque de max-pooling por columnas para extraer los índices con las puntuaciones más altas. Toda la cadena de la red se entrenó con el optimizador Adam, una tasa de aprendizaje de 0,001 y 200 épocas. Como el gradiente fluye estrictamente a través de los índices seleccionados durante la retropropagación, el frontend funciona como un cuello de botella discreto, no como una función continua.
Cabe señalar que un único punto de una nube puede albergar muchas características distintas si constituye un punto de referencia destacado. Por ejemplo, el extremo de un ala o la punta del morro pueden alcanzar activaciones máximas simultáneamente en varios canales de características. Por ello, el número de filas únicas seleccionadas por el operador argmax es significativamente menor que la profundidad de los canales. Una nube de puntos con 1024 puntos puede comprimirse hasta quedar en tan solo 40 puntos.
Para mantener el tamaño de salida deseado, nuestra implementación de prueba de concepto duplica los puntos resultantes. Si, por el contrario, se desean menos puntos, se trunca su número. En implementaciones posteriores, podría utilizarse un muestreo ponderado en lugar de la repetición ingenua de filas, asignando de hecho un peso al «valor» de cada punto para la red y repitiendo sus coordenadas de forma proporcional. Esta idea ya fue propuesta por los autores de la publicación en la que se basa nuestro método. También sería posible ejecutar pasadas secundarias de pooling hasta alcanzar la densidad objetivo.
El perfilado del frontend CPL aislado, realizado durante 5.000 iteraciones de prueba sobre la misma instancia, revela una latencia media de ejecución de the unspecified latency in milliseconds para un objetivo de 128 puntos. Frente al tiempo de ejecución de the unspecified latency in milliseconds requerido por FPS para un subconjunto del mismo tamaño, nuestra implementación es casi tres veces más rápida.
Comparación geométrica y perceptiva
Para analizar si el submuestreador guiado por características coincide con la percepción humana, comparamos varias instancias de las clases de aviones y personas del conjunto de datos ModelNet40. Primero se muestrearon aleatoriamente las instancias hasta obtener 1024 puntos; después se aplicó LIME-3D para determinar qué puntos contribuían positivamente a la clasificación. Por último, se aplicó CPL al conjunto de puntos submuestreado. Se observa que CPL aprendió a aislar extremos y límites pronunciados. En las instancias de aviones, la capa selecciona sistemáticamente puntos distribuidos a lo largo de ambos bordes de las alas.
Para evaluar también cuantitativamente las nubes de puntos, realizamos una medición de similitud basada en las distancias de Chamfer (CD). Los puntos de CPL se compararon con los resultados de LIME-3D y con una nube de puntos aleatoria que contenía el mismo número de puntos que la obtenida por CPL. Como los resultados de RS pueden variar, calculamos la CD 1.000 veces para RS.
En todas las clases evaluadas, RS obtuvo sistemáticamente una CD menor respecto a LIME-3D, con métricas casi dos veces inferiores a las de CPL. Esto indica que CPL introduce una mayor disimilitud geométrica frente al explicador local. El resultado pone de relieve el compromiso entre utilidad para la clasificación e interpretabilidad humana, y deja al descubierto los límites de ambos marcos.
Los modelos sustitutos locales, como LIME-3D, no pueden evaluar todos y cada uno de los puntos; dependen de la agrupación en clústeres y producen explicaciones optimizadas para la percepción humana.
CPL actúa como un embudo de información, optimizado estrictamente para la clasificación. Aísla el número mínimo de puntos necesario para maximizar la confianza de clasificación. Lo que una red neuronal considera crítico para clasificar no tiene por qué coincidir con la percepción humana.
A pesar de la marcada diferencia en CD, CPL conserva su utilidad operativa. Al probar nuestro flujo combinado de PointNet y CPL, con CPL reducido a 64 puntos, la red alcanzó una precisión por instancia de the unspecified accuracy across 5,000 test instances. Este rendimiento está a la altura de nuestras métricas de referencia, en las que la red se entrenó con 64 puntos aleatorios (the unspecified baseline accuracy). Por tanto, introduce una degradación mínima o nula en el rendimiento de clasificación de PointNet y funciona como un acelerador edge eficaz.
Conclusión
Hemos demostrado la viabilidad de desplegar arquitecturas de aprendizaje profundo espacial en procesadores edge. La contribución de nuestra investigación es doble: abordar la brecha con la realidad y optimizar el algoritmo.
En primer lugar, establecimos un flujo robusto de generación de datos que utiliza BLAINDER para generar datos LiDAR sintéticos realistas a partir del conjunto de datos ModelNet40. Al emular sensores LiDAR existentes e introducir ruido gaussiano punto a punto, este flujo simula características de los sensores del mundo real, como la densidad dependiente del punto de vista. La evaluación cruzada demuestra que las redes entrenadas con modelos CAD prístinos fallan cuando se enfrentan a anomalías del sensor, mientras que los modelos entrenados con datos ruidosos pueden abstraer y obtener resultados precisos incluso con datos limpios. Además, las evaluaciones con densidades variables revelan que PointNet es muy robusto frente a la escasez de datos y mantiene resultados de clasificación estables incluso cuando se aplica una reducción agresiva de datos.
En segundo lugar, implementamos una Critical Point Layer preentrenada como filtro de preprocesamiento. Nuestros resultados demuestran que este frontend puede comprimir de forma determinista una nube de puntos original de 1024 puntos hasta un subconjunto disperso de entre 40 y 60 coordenadas únicas. Al probar este método en la CPU de una Raspberry Pi, superó los tiempos del algoritmo FPS y demostró que es posible ejecutarlo en tiempo real en dispositivos edge de baja potencia.
Trabajo futuro
Aún quedan varias vías interesantes para optimizar y mejorar la arquitectura.
Para escalar este flujo y procesar simultáneamente los millones de puntos generados por un escáner LiDAR exterior, los trabajos futuros podrían explorar la descarga del MLP compartido de CPL en una matriz de puertas programables en campo (FPGA) o en NPU especializadas de bajo consumo. Las FPGA son adecuadas para la ejecución masivamente paralela, lo que permitiría liberar más recursos de la CPU.
Para resolver el colapso extremo de características, por el que solo quedan unos pocos puntos tras la compresión, sería conveniente probar operadores continuos y completamente diferenciables, como la aproximación Gumbel-Top-k. En lugar del filtrado estricto y la duplicación de filas para completar el número de filas, esta optimización calcularía un valor de importancia para cada punto y permitiría muestrearlos según dicha puntuación.
Preguntas frecuentes
¿Qué problema resuelve la generación de datos LiDAR sintéticos? Aborda la brecha entre los datos limpios de ModelNet y los datos ruidosos e imperfectos capturados por sensores en entornos reales.
¿Qué es la Critical Point Layer? La Critical Point Layer es un filtro de preprocesamiento guiado por características que selecciona los puntos con mayor activación en la operación de max-pooling de PointNet.
¿Cuántos puntos puede conservar CPL de una nube de 1024 puntos? CPL puede comprimir una nube de 1024 puntos hasta aproximadamente entre 40 y 60 coordenadas únicas.
¿Por qué CPL resulta útil en dispositivos edge? Proporciona una compresión determinista de la nube de puntos y evita el tiempo de ejecución de FPS en hardware edge de baja potencia.