研究人员构建了OctoSense——一个开源平台和数据集，整合了立体RGB、事件相机、激光雷达、热成像、IMU、RTK-GPS和机器人本体感知——并训练了一个单一的自监督模型，将所有传感器融合为统一表征。结果：感知系统在NVIDIA 5090上仅需6.68毫秒运行，在光流、深度估计、语义分割和自运动估计任务上优于纯图像基础模型，尤其在夜间或传感器退化条件下表现突出。
目录
研究内容
OctoSense既是一个硬件传感器套件，也是一个59小时的数据集，数据通过驾驶汽车和四足机器人在多样环境、不同时间段以及刻意退化的传感器条件（如夜间、扬尘、雨天）下采集。传感器套件包括：立体RGB相机、立体事件相机（以微秒分辨率捕捉像素级亮度变化）、32线激光雷达、热成像相机、惯性测量单元（IMU）、实时动态全球定位系统（RTK-GPS），以及来自车辆CAN总线和机器人关节角度的本体感知数据。
在此物理平台之上，团队开发了一种自监督学习方法——后期融合掩码自编码器。不同于早期融合（将原始传感器数据提前融合）或后期融合（独立处理每个传感器后取平均），该架构为每种传感器模态使用独立的标记器来处理不同的时空特性，然后通过随机掩码和重构标记来学习跨模态表征。推理时，系统缓存先前计算的模态特定标记，从而无需重新处理整个历史即可整合新到达的测量值。
训练后的模型产生一个单一嵌入——一个高维向量——编码所有传感器信息。该表征可直接用于下游任务，如深度估计、光流、语义分割和自运动预测，而无需任务特定的微调。
关键成果
OctoSense模型在NVIDIA RTX 5090 GPU上推理时间为6.68毫秒，在NVIDIA Jetson Orin NX上为112毫秒，适用于实时机器人应用。研究人员将多模态表征与纯图像基础模型（如DINOv2、CLIP、MAE）在四项任务上进行了比较：
- 光流：误差比最佳纯图像模型低12%。
- 深度估计：绝对相对误差降低8%。
- 语义分割：平均交并比提高5%。
- 自运动（平移、旋转、转向角）：所有指标误差降低15–20%。
最显著的优势出现在退化条件下：夜间，热成像和事件相机提供互补信息，模型保持白天性能的90%，而纯图像模型性能下降超过40%。在模拟传感器丢失（如激光雷达失效）的场景中，模型仍能依赖其他模态产生可用的表征。
数据集中的四足机器人部分未发布定量基准，但驾驶测试结果证明了核心贡献——单一自监督模型能有效融合多种传感器类型。
工作原理
OctoSense架构是一种后期融合掩码自编码器，旨在处理不同频率、延迟、表征和噪声水平的传感器。训练过程如下：
- 模态特定标记器：每种传感器类型（RGB、事件、激光雷达、热成像、IMU、GPS、本体感知）首先通过一个小型神经网络，将原始数据转换为标记序列——编码局部空间或时间结构的紧凑向量。这些标记器与模型其余部分联合学习。
- 随机掩码：所有模态的大部分标记（通常75–90%）被随机掩码。模型必须根据未掩码的标记预测被掩码的标记，迫使其学习跨模态相关性。
- Transformer编码器：未掩码的标记输入到类似Vision Transformer的编码器中一起处理。由于模型在同一序列中看到来自不同传感器的标记，它学习了诸如“当RGB暗时，热成像信号增强，激光雷达点更有信息量”等关系。
- 解码器：轻量级Transformer解码器从编码器输出重构被掩码的标记。
推理时，模型无需重构——只需在可用的传感器数据上运行编码器以产生嵌入。一个关键实用技巧：系统缓存前一时刻所有传感器的标记。当新传感器测量值到达时（例如，以10 Hz运行的激光雷达扫描，而RGB以30 Hz运行），较慢模态的缓存标记被重用，同时新测量值被标记化并组合。这避免了重新处理整个历史。
整个模型在OctoSense数据集（59小时）上通过自监督训练——除了传感器自动时间同步外，无需人工标注。
对机器人技术的意义
大多数真实世界的机器人——从自动驾驶汽车到足式机器人——在单一传感器可能失效或退化的环境中运行。OctoSense证明了自监督学习可以在无需昂贵标注的情况下，将多种传感器融合为单一鲁棒表征。这对以下领域至关重要：
- 自动驾驶：夜间和恶劣天气降低RGB相机性能，但热成像和激光雷达可以补偿。一个处理所有传感器的单一模型简化了感知栈。
- 四足导航：足式机器人经历振动和可变地形角度，导致IMU和GPS退化；事件相机和热成像有助于维持状态估计。
- 边缘硬件部署：在Jetson Orin NX上112毫秒的推理时间意味着该方法可在许多现场机器人的嵌入式系统上运行。
对于评估机器人平台的操作经理和工程师而言，OctoSense数据集和代码（公开可用）为多模态感知提供了即用基线。构建定制传感器套件并应用相同自监督方法的能力，可减少检查、自主导航和态势感知任务的开发时间。
如果您正在为现有机器人集成感知系统，可考虑浏览Robot Overflow上的二手工业机器人，寻找可加装多模态传感器的平台，或仓储机器人，后者可能受益于鲁棒的全天候感知。
局限性与待解问题
当前的OctoSense模型仅基于单一城市主导环境的驾驶和四足行走数据训练。泛化到完全不同的领域——例如水下机器人或无人机——尚未验证。标记器针对每种模态学习，但增加新传感器类型需要重新训练。数据集规模大（59小时），但不如互联网规模的视觉数据集多样，可能限制对罕见场景的表征质量。
开放问题包括：模型如何迁移到传感器布局或标定不同的机器人？缓存策略能否处理具有高度不规则时序的传感器（例如微秒粒度的事件流）？后期融合表征是否包含足够的空间细节用于像素级操作等任务（可能需要早期融合）？
常见问题
OctoSense支持哪些传感器？ OctoSense包括立体RGB相机、立体事件相机、激光雷达、热成像相机、IMU、RTK校正GPS以及来自CAN总线或关节角度的本体感知——共八种传感器模态。
使用该模型是否需要购买所有这些传感器？ 不需要。训练好的模型在推理时可以使用这些传感器的任意子集。训练数据集包含所有八种，但架构通过缓存和掩码策略优雅地处理缺失模态。
OctoSense模型在边缘硬件上的速度如何？ 在NVIDIA Jetson Orin NX上运行时间为112毫秒，对实时机器人应用（多数感知循环低于10 Hz）足够快。
OctoSense数据集和代码是否公开？ 是的。项目页面提供了数据集、代码和补充视频的链接，用于复现结果。
结论
OctoSense证明，自监督后期融合掩码自编码器能够将八种多样传感器组合为单一鲁棒表征，在核心感知任务上优于纯图像基础模型——尤其在挑战性条件下。凭借公开数据和边缘硬件上的实时性能，这项工作为构建在黑夜中也不失效的多模态感知系统提供了实用蓝图。
如果您的机器人能够融合热成像和事件相机数据以及标准RGB和激光雷达，其可靠性将如何改变？