研究人员构建了CIPER，这是一种单一Transformer网络，能够同时从城市级数据库中检索正确的航空图像，并精确估计地面相机的3自由度位姿。这一端到端框架消除了级联式检索与位姿估计流程中的冗余计算，在更少的FLOPs下实现了更高的精度，适用于无GPS环境下的机器人操作。
目录
研究人员构建了什么
CIPER（跨视角图像检索与位姿估计）是一个统一的端到端Transformer架构，一次前向传播即可完成两个任务：粗粒度图像检索和细粒度3自由度位姿估计。给定一张地面查询图像和一个包含地理标记航空图像的数据库，CIPER首先识别出包含查询位置的航空图像，然后精确估计相机相对于该航空图像的偏移量（纬度、经度）和朝向（航向角）。
与传统的将独立的检索模型和位姿估计模型串联起来（每个模型独立处理相同输入）的方法不同，CIPER共享单个编码器主干，并采用双令牌机制对地面和航空图像进行编码。然后，一个互交叉注意力解码器对齐两种特征表示，并联合预测检索相似度分数和像素级位姿热图。该模型通过联合损失函数进行端到端训练，同时优化两个任务，因此在计算上更加高效，且精度高于两阶段方法。
关键成果
CIPER在标准VIGOR数据集上进行了评估，该数据集包含来自城市区域的配对地面和航空图像，具有任意相机朝向和有限的视场角。在图像检索方面，CIPER的top-1召回率超过先前最先进的方法，证明了联合训练的有效性。
在3自由度位姿估计方面，CIPER预测的平移和朝向误差均显著低于级联式流程。即使在具有挑战性的条件下（例如相机位置被航空视角部分遮挡的桥梁），模型仍能保持准确的定位，突显了其在真实世界无GPS场景中的鲁棒性。
在计算方面，CIPER所需的FLOPs低于分别运行检索和位姿模型的总和。论文指出，传统流程需要将两个网络的FLOPs相加，而CIPER的共享架构避免了这种冗余，使其适用于资源受限的平台，如无人机或移动机器人。
工作原理
CIPER的架构包含三个主要组件：
双令牌共享编码器。 视觉Transformer（ViT）以共享权重处理地面和航空图像。每张图像被分割成图像块，并嵌入可学习的位置编码。每张图像前附加一个特殊的分类令牌（CLS）；这些令牌随后作为浓缩表示用于检索和位姿估计。
互交叉注意力解码器。 编码后，模型在地面CLS令牌与航空特征图之间，以及航空CLS令牌与地面特征图之间应用交叉注意力。这种互惠机制在共同特征空间中对齐两个视角，使模型能够推理地面与航空视角之间的几何对应关系。
联合预测头。 对齐后的特征输入到两个预测头： - 检索头计算地面和航空CLS令牌之间的余弦相似度，用于对数据库图像进行排序。 - 位姿估计头生成一个密集的2D概率热图，表示地面相机在航空图像中的位置，同时输出独立的朝向预测。
模型通过检索的三元组损失（拉近匹配图像对，推开不匹配图像对）和位姿的交叉熵损失（监督热图和朝向）进行训练。
| 任务 | 指标 | CIPER | 两阶段基线 |
|---|---|---|---|
| 检索 | Top-1 召回率 (%) | 最先进 | 较低精度 |
| 位姿估计 | 中值平移误差 (m) | 降低 | 更高误差 |
| 计算成本 | FLOPs | < 两个模型之和 | 冗余 |
由于原文仅引用表格而未提供具体数值，此处省略具体数字。
为什么这对机器人技术很重要
在室内、城市峡谷、茂密植被或对抗环境中，无GPS的可靠定位是机器人的关键能力。CIPER提供了一个单模型解决方案，可以替代笨重的级联流程，降低嵌入式系统的计算负载和延迟。
实际应用包括： - 使用顶置摄像头或先验卫星图像进行定位的仓库机器人的自主导航。 - 需要利用机载摄像头和存储的城市地图精确悬停在目标位置的无人机配送系统。 - 在GPS信号弱时依赖视觉地点识别的最后一英里配送机器人。
通过联合学习检索和位姿，CIPER还避免了困扰两阶段系统的误差传播：如果检索阶段选择了错误的航空图像，位姿估计将完全错误。CIPER的统一目标降低了这种风险。
局限性与开放问题
CIPER假设在操作区域存在一个地理标记航空图像数据库——对于快速变化的环境或偏远地区，这可能不可行。该模型还要求地面和航空图像具有足够的视觉重叠；非常窄的视场角或极端天气可能会降低性能。
此外，论文仅在一个航空高度（街景城市场景）上进行了评估。该方法如何泛化到不同尺度或倾斜航空图像尚未得到验证。开放问题包括双令牌设计是否可以扩展到处理视频序列或主动探索（例如移动机器人以改善定位）。
常见问题解答
什么是跨视角地理定位？ 这是通过将地面图像与航空图像数据库匹配，并估计相机在航空地图上的精确位置和朝向，来确定地面图像拍摄位置的任务。
CIPER与现有方法有何不同？ 现有流程使用独立模型进行图像检索和位姿估计，导致冗余计算和误差积累。CIPER通过单一端到端训练的变压器同时完成两个任务，提高了精度和效率。
这针对哪种机器人硬件？ 任何带有摄像头和预加载航空地图的机器人——无人机、配送机器人、自动驾驶车辆以及在已知环境中运行的人形机器人。
CIPER在运行时是否需要GPU级计算？ 共享变压器架构比运行两个独立模型更高效，但实时运行仍需GPU或边缘AI加速器。论文报告的总FLOPs低于级联方案。
结论
CIPER证明了联合跨视角图像检索和位姿估计可以通过单个变压器实现，为无GPS机器人定位提供了一条实用、高效的路径。其在挑战性条件下的强精度和降低的计算成本使其成为真实世界自主导航系统中一个有前景的基础模块。
像CIPER这样的单一模型能否完全取代GPS用于机器人最后一英里导航，还是始终需要混合传感器融合？