引言
深度学习为直接从驾驶经验中学习与地形相关的影响因素提供了可能。越来越多的研究开始探索面向地面机器人的有监督和自监督可通行性估计，利用加速度等本体感知信号为视觉地形模型生成监督信号。近年来，预训练视觉表征和视觉基础模型展现出在视觉差异显著的环境之间迁移的潜力，从而减少了学习可通行性表征所需的任务专用数据。这些进展表明，火星车的驾驶遥测数据和本体感知信息，除了能够提供传统的几何危险标注之外，还可以提供有关地形适宜性的有效标签。
然而，行星机器人领域一直缺少能够将驾驶经验与学习可通行性所需的多模态观测直接关联起来的大规模数据集。现有火星相关数据集主要聚焦于视觉语义或地形分类。例如，AI4MARS 为 Spirit、Opportunity 和 Curiosity 火星车采集的图像提供了数十万条语义分割标注。虽然这些标注能够提供有关视觉地形外观的宝贵信息，但它们并未直接编码六轮火星车与地形发生物理交互的方式。
本研究基于 Perseverance 约 500 个火星日的地表机动操作，构建并介绍了一个大规模数据集。该数据集提供带有火星车位姿、惯性测量、摇臂-转向架构型以及估计滑移量和倾斜度的灰度导航相机（NavCam）双目观测，形成了一份同时记录火星车“看到了什么”以及“如何响应地形”的多模态数据。重要的是，数据集中的轨迹并非人工生成，而是源于 Rover Planner 的人工决策，并由车载 ENav 软件协同执行。因此，这些数据真实反映了行星探索过程中实际遇到的地形、车辆状态和驾驶条件分布。
基于这一数据集，本研究考察了能否利用星外驾驶经验学习地形可通行性的视觉表征。研究利用视觉基础模型提取具有迁移能力的特征，并使用源自火星车本体感知数据的监督信号训练可通行性估计器。随后，将学习到的表征投影为可通行性地图，并将其集成到现有的基于双目的 ENav 规划器中。该方法并不取代几何自主系统，而是通过学习得到的地形评估对其进行增强。
最终系统在一个地球等效火星车平台上进行了验证，该平台的重量和机动特性与火星上的 Perseverance 相匹配。这项评估以实体实验的方式检验了：从火星驾驶数据中学习的信息，能否在闭环场景中改善导航性能。
本研究的贡献包括以下三点：
- 基于 Mars 2020（M2020）Perseverance 火星车，引入一个覆盖 500 个火星日的多模态驾驶数据集。数据集包含同步双目图像、位姿、惯性测量、摇臂-转向架角度，以及倾斜度和滑移量估计。
- 提出一种对比学习框架，利用预训练视觉基础模型和火星车驾驶经验，从视觉观测中估计地形可通行性。
- 在地球等效火星车上展示将学习到的可通行性表征与 ENav 规划器进行闭环集成的效果。
数据集与所提出的学习框架共同建立了实际行星火星车运行数据与现代深度学习导航之间的联系，为自主行星探索与导航的后续研究提供了基础。
基于学习的地形可通行性
这些方法对行星机器人尤其重要，因为按照火星车的机动能力对地形进行人工标注并不现实。Perseverance 的驾驶日志为这类监督提供了天然来源：视觉观测可以与火星车的运动、惯性响应、车辆构型以及感知到的滑移相关联。这样一来，可通行性便能够根据真实火星车的行为响应来定义，而不必依赖笼统的语义地形类别。本研究将基于经验的可通行性学习拓展到了真实的行星驾驶数据，并覆盖数百个火星日。
用于导航的视觉基础模型
本研究建立在视觉基础模型用于导航这一新兴方向之上，同时应对星外环境之间的视觉域差异。研究并非单纯依赖预训练表征，而是利用 Perseverance 的驾驶经验，使视觉特征适应火星车特有的可通行性定义。视觉基础模型表征与长期行星驾驶数据的结合，使系统能够迁移地球预训练模型所具备的广泛视觉知识，同时以真实的火星车—地形交互为依据校准最终预测。
模型架构
部署的模型可分为三个组成部分：
- 一个预训练且冻结的 DINOv2 ViT-L/14 编码器。
- 一个拥有 500 万参数的可学习 Transformer 解码器，用于生成按滑移量组织的空间。
- 一个负责分位数预测的两层多层感知器（MLP）头。
可通行性预测
由于数据集中的滑移读数分布不均衡，研究没有采用回归，而是在 Transformer 之上学习一个分位数头。该分位数头由一个两层 MLP 构成，将单个像素特征映射为分位数值。
分位数头会为每个像素预测一组可能的滑移值，而不是给出单一的滑移估计。
从 Transformer 的角度看，MLP 通过最小化未见火星日数据的 pinball 损失之和进行训练。在推理阶段，最终可通行性取中位滑移值与预测不确定性两者中的最坏情况；预测不确定性由分布宽度表示。
潜空间可视化
研究将留出的车轮轨迹像素的 64 维特征投影到二维空间，并依据真实滑移量着色。主成分分析（PCA）保留全局变化的主要方向，而 t 分布随机邻域嵌入（t-SNE）则突出局部邻域结构。两种投影使用相同的样本。
PCA 投影呈现出连续的颜色渐变：高滑移样本集中在左侧，低滑移样本集中在右侧。因此，该表征并未将数据分割为“安全”和“危险”两类簇；相反，其主要变化方向之一会随着滑移量连续变化。
t-SNE 投影展示了互补的局部结构：相邻点具有相近的颜色，同时保留整体渐变。高滑移样本形成多个局部群组，而非一个孤立的簇，这表明较高滑移可能对应不止一种视觉地形外观。右侧低滑移区域的连贯性则说明，系统对适宜行驶地形形成了稳定一致的表征。
硬件实验
所提出的方法被迁移到一个视觉上分布外的地球类比测试场地。测试主要在平地上进行，并使用多种大型岩石作为障碍物。
当火星车绕过不同巨石行驶时，模型会生成可通行性地图，并将其投影到一个扇形区域中。改进后的规划器接收可通行性评分，并将其与原有的基于几何的代价地图融合，以搜索行驶路径。
结论
本研究基于 Perseverance 数据，提出了一个用于密集、纯视觉可通行性预测的数据集与学习框架。通过将火星车的车轮轨迹投影到行驶前采集的 NavCam 图像中，该方法以对比方式将视觉特征与本体感知及悬架响应进行排序关联，无需人工标注。
研究利用 DINOv2 编码器生成的特征，并结合互补目标训练密集解码器。Rank-N-Contrast 损失对行驶区域内的特征进行结构化，而双向跨模态对齐则将这些特征与火星车的机械响应联系起来。
未来的工作可以支持对新地形进行在线适应，或将该方法扩展到更大的骨干网络，例如视觉语言模型。
致谢
本研究由加州理工学院喷气推进实验室（JPL）开展，依据与美国国家航空航天局签订的合同完成。本研究得到 JPL 战略研究与技术发展（SRTD）项目的支持。
本研究使用的高性能计算资源由 JPL 企业 IT 部门提供资金支持。作者感谢 Tyler Del Sesto 和 Richard Rieber 就硬件平台与 ENav 算法展开的富有启发性的讨论，并感谢 JPL 火星车运行中心（ROC）提供的支持。
常见问题
这项研究引入了什么数据集？ 它引入了一个多模态驾驶数据集，采集自 Perseverance 约 500 个火星日的地表机动操作。
哪些火星车数据为可通行性学习提供监督？ 监督信号来自视觉观测、火星车运动、惯性响应、车辆构型、感知到的滑移以及悬架响应。
部署系统使用了什么视觉模型？ 该模型使用冻结的 DINOv2 ViT-L/14 编码器、可学习的 Transformer 解码器和两层 MLP 分位数头。
如何评估学习到的可通行性表征？ 研究将其集成到 ENav 规划器中，并在地球等效火星车上通过闭环导航进行测试。