异构激光雷达早期融合与学习重排序实现鲁棒长期地点识别

异构激光雷达早期融合与学习重排序实现鲁棒长期地点识别

Judith Vilella-Cantos, Juan José Cabrera, Mónica Ballesta, David Valiente, Luis Payá

1 分钟阅读•2026年6月14日

在非结构化农业环境中,由于显著的季节性变化和邻近位置之间的高度视觉相似性,长期地点识别具有挑战性。本工作引入了一种异构激光雷达融合策略,结合了Livox Mid-360固态激光雷达和Velodyne VLP-16旋转激光雷达的数据,利用了Livox的短距离优势和Velodyne的长距离能力。此外,一种学习重排序策略优化了由MinkUNeXt骨干网络检索的候选结果,提高了检索精度。在TEMPO-VINE葡萄园数据集上的实验表明,与最先进方法相比,跨季节场景中的Recall@1从16.4%提高到34.3%。基于物候阶段的新型评估协议进一步证明了该方法的鲁棒性。

引言与相关工作

尽管HeLiOS等方法使用带有球形变换器的共享编码器独立处理单个点云,但文献中较少探索不同激光雷达传感器数据的显式融合。目前没有方法专门针对非结构化环境中地点识别的异构激光雷达数据融合,而这正是本工作的重点。

重排序策略在农业环境中尤为重要,因为地点之间的高度相似性和后期作物遮挡可能导致初始检索阶段大量误报。同一轨迹内不同位置(行内与端部)的两地差异很小,这使得检索在此类环境中成为非平凡问题。通过优化候选排序,重排序方法可以显著提升LPR算法在这些挑战性环境中的性能。

传感器融合策略

融合来自两个具有不同扫描模式的激光雷达数据时,考虑了主要差异。Livox Mid-360是一种固态激光雷达,提供360度水平视场角和38.4度垂直视场角,其非重复扫描模式可在给定区域内捕获更多点。相比之下,Velodyne VLP-16是一种旋转机械激光雷达,提供360度水平视场角和30度垂直视场角,采用重复扫描模式导致点分布更均匀,但因遮挡或分辨率限制可能遗漏某些区域。

说明早期融合方法的示意图,将Livox和Velodyne点云融合为统一表示用于地点识别

Livox在短距离提供可靠信息,而Velodyne在长距离表现更好。因此,提出了一种利用各传感器优势的融合策略。首先,将两个传感器的点云下采样到共同分辨率。为保证一致性,利用外参变换将Velodyne点转换到两传感器的共同坐标系。定义10米距离阈值来区分短距离和长距离区域。短距离区域仅选择Livox点,长距离区域仅选择Velodyne点。该方法无需复杂方案或高计算开销即可生成融合点云。最后,将两传感器选中的点合并生成用于LPR的融合点云。

学习重排序头

重排序头使用二元交叉熵(BCE)损失训练,其中正样本为真实匹配,负样本为前K个候选中的错误匹配。BCE损失函数计算真实标签(正匹配为1,负匹配为0)与预测为正匹配概率之间的交叉熵。

学习重排序头的架构,显示如何优化初始检索阶段的候选排序

该附加头在推理时训练25个epoch,批大小为1024。优化器使用Adam,学习率为0.001。重排序头设计为轻量高效,确保推理时不引入显著计算开销。对于涉及至少三个战役及其轨迹的大型评估,每个epoch在Nvidia A30 GPU上大约需要一分钟。

评估指标与数据集

使用Recall@1%和Recall@1指标评估方法性能。Recall@1%衡量查询在前1%检索候选中找到至少一个正确匹配的百分比。Recall@1衡量查询中首个候选为正确匹配的百分比。这些指标常用于地点识别任务,评估检索方法有效性。Recall@1指标尤为重要,因为首个候选是正确匹配对实际应用中的精确定位至关重要。

本文实验均在TEMPO-VINE数据集上进行,同时报告BLT数据集的结果用于重排序贡献的消融研究。

跨季节评估结果

在跨季节场景中,将战役分为三个不同物候阶段:早期生长、开花和收获前。模型使用一个物候阶段的数据训练,并用另一个物候阶段的数据测试,以展示跨季节泛化能力。

热图显示跨季节组合的Recall@1结果,证明了方法对物候变化的鲁棒性

结论与未来工作

未来工作将规划一种更可扩展的融合策略,适用于更广泛的传感器和环境。此外,将方法扩展到其他环境(如城市)以进一步验证其有效性和泛化能力。关于重排序头,下一个目标是创建广泛基准,研究不同输入描述符和季节变化对农业环境中正确重排序的影响。最终,目标是将方法部署在实际葡萄园环境的自主系统上,以证明其实用性和鲁棒性。

常见问题

本文的主要贡献是什么? 本文提出了一种异构激光雷达早期融合策略,根据距离特定优势结合Livox Mid-360和Velodyne VLP-16数据,并引入学习重排序头优化农业环境中的检索候选。

重排序策略如何工作? 重排序头是一个轻量网络,在推理时使用二元交叉熵损失训练,对初始检索阶段的顶部候选重新排序,减少因葡萄园远处位置高度视觉相似性导致的误报。

使用了什么数据集进行评估? 所有实验在TEMPO-VINE葡萄园数据集上进行,额外在BLT数据集上进行了消融研究以验证重排序贡献。

跨季节场景中的关键结果是什么? 该方法在跨季节场景中将Recall@1从16.4%提高到34.3%,展示了对农业环境物候变化的显著鲁棒性。