El reconocimiento de lugares a largo plazo en entornos agrícolas no estructurados es un desafío debido a los cambios estacionales significativos y la alta similitud visual entre ubicaciones cercanas. Este trabajo introduce una estrategia de fusión heterogénea de LiDAR que combina datos de un LiDAR de estado sólido Livox Mid-360 y un LiDAR giratorio Velodyne VLP-16, aprovechando las fortalezas de corto alcance del Livox y las capacidades de largo alcance del Velodyne. Además, una estrategia de reordenamiento aprendido refina los candidatos principales recuperados por un backbone basado en MinkUNeXt, mejorando la precisión de recuperación. Los experimentos en el conjunto de datos de viñedos TEMPO-VINE muestran mejoras sustanciales sobre los métodos de última generación, con Recall@1 aumentando del 16.4% al 34.3% en escenarios entre estaciones. Un nuevo protocolo de evaluación basado en etapas fenológicas demuestra además la robustez del método.
Introducción y Trabajo Relacionado
Aunque métodos como HeLiOS procesan una sola nube de puntos de forma independiente usando un codificador compartido con transformadores esféricos, la literatura ha explorado menos la fusión explícita de datos de diferentes sensores LiDAR. No existen métodos existentes que aborden específicamente la fusión de datos LiDAR heterogéneos en una representación unificada para el reconocimiento de lugares en entornos no estructurados, que es el enfoque de este trabajo.
Las estrategias de reordenamiento son particularmente importantes en entornos agrícolas porque la alta similitud entre lugares y las occlusiones de cultivos en etapas posteriores pueden llevar a un alto número de falsos positivos en la etapa de recuperación inicial. Dos lugares dentro de la misma trayectoria que están en posiciones muy diferentes (intra-fila y extrema) muestran poca diferencia. Esto hace que la recuperación sea un problema no trivial en este tipo de entornos. Al refinar la clasificación de candidatos, los enfoques de reordenamiento pueden mejorar significativamente el rendimiento de los algoritmos LPR en estos entornos desafiantes.
Estrategia de Fusión de Sensores
Se consideran las principales diferencias entre dos sensores LiDAR con diferentes patrones de escaneo al fusionar datos de ellos. El Livox Mid-360 es un sensor LiDAR de estado sólido que proporciona un amplio campo de visión (FoV) de 360 grados horizontalmente y 38.4 grados verticalmente. Su patrón de escaneo no repetitivo le permite capturar más puntos en un área determinada que los LiDAR giratorios tradicionales. En contraste, el Velodyne VLP-16 es un sensor LiDAR giratorio mecánico que proporciona un FoV más estrecho de 360 grados horizontalmente y 30 grados verticalmente. Utiliza un patrón de escaneo repetitivo, lo que resulta en una distribución más uniforme de puntos, aunque puede perder ciertas áreas debido a occlusiones o resolución limitada.
Livox proporciona información confiable a corto alcance, mientras que Velodyne se desempeña mejor a largo alcance. Por lo tanto, se propone una estrategia de fusión que aprovecha las fortalezas de cada sensor. Primero, las nubes de puntos de ambos sensores se submuestrean a una resolución común. Para coherencia, los puntos del sensor Velodyne se transforman luego al marco común entre ambos sensores usando la transformación extrínseca. Se define un umbral de distancia de 10 metros para distinguir entre áreas de corto y largo alcance. Los puntos de la fuente Livox se seleccionan exclusivamente para el área de corto alcance y los de la fuente Velodyne exclusivamente para el área de largo alcance. Este método produce una nube de puntos fusionada que combina las fortalezas de ambos sensores sin necesidad de enfoques complejos o alta carga computacional. Finalmente, los puntos seleccionados de ambos sensores se combinan para crear una nube de puntos fusionada para LPR.
Cabezal de Reordenamiento Aprendido
El cabezal de reordenamiento se entrena usando una pérdida de Entropía Cruzada Binaria (BCE), donde las muestras positivas son las coincidencias verdaderas y las muestras negativas son las coincidencias falsas entre los primeros K candidatos. La función de pérdida BCE calcula la entropía cruzada entre las etiquetas verdaderas (1 para coincidencias positivas, 0 para negativas) y las probabilidades predichas de ser una coincidencia positiva.
Este cabezal adicional se entrena en tiempo de inferencia durante 25 épocas con un tamaño de lote de 1024. El optimizador utilizado es Adam con una tasa de aprendizaje de 0.001. El cabezal de reordenamiento está diseñado para ser ligero y eficiente, asegurando que no introduzca una sobrecarga computacional significativa durante la inferencia. Para evaluaciones grandes que involucran al menos tres campañas y sus trayectorias correspondientes, cada época toma alrededor de un minuto en una GPU Nvidia A30.
Métricas de Evaluación y Conjunto de Datos
Para evaluar el rendimiento del método, se utilizan las métricas Recall@1% y Recall@1. Recall@1% mide el porcentaje de consultas para las cuales se encuentra al menos una coincidencia correcta dentro del 1% superior de los candidatos recuperados. Recall@1 mide el porcentaje de consultas para las cuales el candidato recuperado principal es una coincidencia correcta. Estas métricas se utilizan comúnmente en tareas de reconocimiento de lugares para evaluar la efectividad de los métodos de recuperación. Un valor más alto en la métrica Recall@1 es crucial, ya que indica que el candidato recuperado principal es una coincidencia correcta, lo cual es esencial para una localización precisa en aplicaciones del mundo real.
Cada experimento en este artículo se realiza utilizando el conjunto de datos TEMPO-VINE, mientras que también se reportan resultados para el conjunto de datos BLT para el estudio de ablación de la contribución del reordenamiento.
Resultados de Evaluación entre Estaciones
El rendimiento de MinkUNeXt-VINE++ se evalúa en un escenario entre estaciones agrupando campañas en tres etapas fenológicas diferentes: crecimiento temprano, floración y pre-cosecha. El modelo se entrena usando datos de una etapa fenológica y se prueba usando datos de una etapa fenológica diferente para demostrar la capacidad de generalización entre estaciones.
Conclusiones y Trabajo Futuro
Como trabajo futuro, se planea una estrategia de fusión más escalable que pueda aplicarse a una gama más amplia de sensores y entornos. Además, se extenderá la aplicación del método a otros entornos, como entornos urbanos, para validar aún más su efectividad y capacidad de generalización. En cuanto al cabezal de reordenamiento, el próximo objetivo es crear un punto de referencia extenso de los efectos de diferentes descriptores de entrada y cambios estacionales en el reordenamiento correcto en entornos agrícolas. Finalmente, el objetivo es desplegar el método en un sistema autónomo que opere en un entorno de viñedo real para demostrar su aplicabilidad práctica y robustez.
Preguntas Frecuentes
¿Cuál es la principal contribución de este artículo? El artículo propone una estrategia de fusión temprana heterogénea de LiDAR que combina datos de Livox Mid-360 y Velodyne VLP-16 según fortalezas específicas de alcance, junto con un cabezal de reordenamiento aprendido para refinar los candidatos de recuperación en entornos agrícolas.
¿Cómo funciona la estrategia de reordenamiento? El cabezal de reordenamiento es una red ligera entrenada con pérdida de entropía cruzada binaria durante la inferencia para reordenar los candidatos principales de la etapa de recuperación inicial, reduciendo los falsos positivos causados por la alta similitud visual entre ubicaciones distantes de viñedos.
¿Qué conjunto de datos se utilizó para la evaluación? Todos los experimentos se realizaron utilizando el conjunto de datos de viñedos TEMPO-VINE, con estudios de ablación adicionales en el conjunto de datos BLT para validar la contribución del reordenamiento.
¿Cuáles fueron los resultados clave en escenarios entre estaciones? El método mejoró Recall@1 del 16.4% al 34.3% en escenarios entre estaciones, demostrando una robustez significativa a los cambios fenológicos en entornos agrícolas.