机器人先在脑海中构建三维地图,再开始移动

机器人先在脑海中构建三维地图,再开始移动

Hajira Amjad, Valerii Serpiva, Viacheslav Liubimov, Didar Seyidov, Dzmitry Tsetserukou

1 分钟阅读•2026年10月13日

HorizonNav 将陌生地点的图像转化为生成的“未来”摄像机视角,随后把这些视角重建为三维地图,让机器人在移动前就能规划路线。在测试中,67 个生成视频案例里有 58 个得到了可用的视觉 SLAM 重建;在一项走廊研究中,当生成的摄像机路径与重建地图发生碰撞时,独立规划器在六个案例中的五个找到了无碰撞的替代路线。

目录

研究人员构建了什么?

HorizonNav 是一个系统,它将机器人当前摄像头拍摄的图像转化为对视野之外可能情况的初步三维描述,再利用这份描述在机器人出发前规划路线。其核心思路是把生成视频用作可能视角的来源,而不是把它当成可直接交给机器人执行的指令。

系统从一张图像和一项导航任务开始。视觉语言模型会分析可见场景,并描述地标、障碍物、看起来开阔的区域,以及视野之外的区域。随后,它生成一条探索指令,例如透过开口观察,或转向被遮挡的区域。指令还会指出哪些视觉细节应与原始图像保持一致,从而约束生成场景。

视频生成模型根据该指令生成候选第一人称视角。系统将生成的视角重建为空间表示,标出障碍物,再让传统路径规划器在估计的空闲区域中寻找路线。系统将地图视为一种假设:生成视角可以提供有用线索,但不能证明真实环境中未观测到的部分与想象场景一致。

用于评估可通行空间的生成视角与重建场景几何

主要结果是什么?

总体而言,生成更多视角通常会提高在重建地图中找到路线的可能性,但这一趋势并非对每个场景都成立。在较短的 P20 视野范围内,19 个场景中有 13 个存在可行路线,RRT 在 90 次试验中成功 62 次。在较长的 P81 视野范围内,这些数字分别上升到 19 个场景中的 15 个,以及 90 次试验中的 75 次。这些数字衡量的是针对重建障碍物地图进行规划的结果,并不代表地图与真实世界相符的准确度。

生成视角的视野范围存在可行路线的场景数RRT 成功试验数
P2013/1962/90
P8115/1975/90

另一个包含 67 个生成视角案例的档案中,有 58 个得到了可用的 ORB-SLAM3 重建。在这 58 个重建结果中,36 个支持可行规划,22 个则不支持。规划失败与摄像机移动幅度不足、几何信息稀疏或失真,以及错误地封闭狭窄通道等问题有关。

走廊测试说明了为什么规划路线要与生成的摄像机路径分开处理。在 32 个分支与视野范围组合案例中,有 25 个案例的数据足以在同一张地图中比较两种路径。六条生成的摄像机路径违反了研究采用的碰撞判据;独立规划的 RRT 路线在其中五个案例中避开了碰撞。论文还介绍了六次四旋翼飞行器实地试验,但所提供的论文文本在报告试验结果前就已截断。

HorizonNav 如何工作?

整个流程将视觉想象、三维重建和路线规划分开处理。首先,视觉语言模型——报告中的系统使用 Gemini 2.5 Flash——根据初始图像和任务判断哪些内容可见,以及在哪里进一步观察可能有所帮助。它生成的探索指令会引导视频模型 Wan 2.2 I2V Fast 生成候选第一人称序列。生成的摄像机运动为建图提供视角,并不会自动被视为安全的机器人轨迹。

在重建环节,报告中的规划实验主要使用 ORB-SLAM3。这套视觉建图系统会跟踪连续帧中的图像特征,以估计摄像机运动并构建稀疏三维点云。要获得可用的重建结果,需要有足够稳定的视觉特征,以及信息量足够的摄像机运动。研究还考察了 Video Depth Anything 能否提供稠密深度信息,但强调视频帧之间的深度平滑,并不意味着不同视角之间的几何结构能够正确对齐。

接下来,点云会被转换为占据栅格地图,以网格形式表示哪些区域看起来被占据、哪些区域看起来空闲。系统会按照机器人的半径和安全余量扩展障碍物范围,从而留下更加保守、供机器人通行的区域。快速探索随机树(RRT)通过采样可能的位置,并在连接路径不会穿过地图中的障碍物时将这些位置连起来,以此搜索无碰撞路线。对于空中机器人,搜索过程会纳入高度;地面机器人则可以在地面平面上规划。

这项设计的关键安全措施,是让生成的运动和机器人的运动承担不同任务。即使视频中的摄像机路径穿过障碍物,视频仍可能揭示有用的几何信息。规划器会根据重建地图选择一条独立路线;论文强调,这仍然只是估计,不能取代机器人执行任务时对真实环境的检查。

这项研究对机器人技术有何意义?

机器人往往需要在亲自绕过拐角、进入房间或接近缺口之前,就先决定行动方向。HorizonNav 探索生成视角能否及早填补这一信息缺口,为路线规划提供支持。研究结果展现了一项实用的区别:想象出的视角不必构成忠实且可执行的旅程,也能为独立的建图与规划系统提供有用线索。

这种思路或许适用于在陌生或仅被部分观测的空间中运行的移动机器人,例如需要评估如何绕过视线遮挡区域的仓储系统。不过,相关实验并未在仓库机器人车队中验证 HorizonNav,因此这仍是一种可能的应用,而非已展示的结果。正在了解平台选择的团队可以浏览仓储机器人,或查看待售二手机器人。

对于工程师而言,这项工作还提出了一个重要的部署问题:生成场景是否保留了特定决策所需的特征。地图在视觉上可能合理,却仍会把狭窄开口显示为封闭,或把实际上并不通行的路线显示为畅通。HorizonNav 强调保守处理障碍物并独立规划,这表明生成式 AI 应与成熟的建图、规划和实时感知技术结合,而不应让视频模型独自控制机器人。

有哪些局限和未解问题?

生成的视角并不能证明对应空间确实如图所示。研究中出现的问题包括摄像机运动幅度不足或退化、重建质量下降,以及扭曲空闲空间连通关系的几何结构。67 次尝试中有 58 次得到可用重建,但其中只有 36 次支持可行规划;这表明,即使重建成功,也不代表它对规划有用。

报告中的规划数字是地图层面的结果,并未验证每条路线在物理环境中都安全。在线感知和安全余量仍不可或缺。走廊对比所涵盖的可评估案例也有限,而且 RRT 在这里是下游规划器,并非论文提出的新规划算法。最后,论文介绍了六次四旋翼飞行试验及其评估设置,但所提供的文本没有包含试验结果统计,因此无法据此给出实地成功率。

常见问题有哪些?

HorizonNav 会让机器人沿着生成视频中的摄像机路径行进吗? 不会。生成的路径为重建提供可能的视角,机器人路线则由独立规划器计算。

系统使用什么来构建三维地图? 报告中的规划结果使用 ORB-SLAM3,根据生成视角估计摄像机运动并恢复稀疏三维结构。

生成更多帧总能改善规划吗? 不能。整体结果从 P20 到 P81 有所改善,但随着生成内容引入错误几何结构,个别重建结果可能变得不那么有用。

这项研究是否证明生成地图适用于真实世界的安全导航? 没有。主要规划结果是针对重建地图评估的,而且所提供的文本不包含实地飞行结果统计。

读者应当记住什么?

HorizonNav 展示了一种将生成视频用作探索性建图辅助工具,同时由独立规划系统选择路线的方法。结果显示,这种方法有望支持移动前规划;但研究也明确指出,必须谨慎对待生成的几何结构,并根据真实世界进行核验。

对于实际部署而言,哪一点更重要:生成更丰富的想象视角,还是可靠地核验真实世界地图?