研究人员构建了ZONDA，一种能够在多个楼层进行零样本物体导航并主动避让行人的框架。通过使用启发式规划器和多视图验证，它在无需特定机器人训练或静态环境的情况下，达到了最先进的成功率。
目录
研究内容
ZONDA是一个零样本物体导航框架，专为在多层建筑中运行、且周围有人类活动的室内机器人设计。与以往方法不同，它无需绑定特定机器人的强化学习策略，因此可以直接应用于不同平台而无需重新训练。该系统维护三层地图：物体实例地图、语义热力地图（指示目标可能位置）以及高度差可通行地图（用于检测楼梯和斜坡）。
该框架包含三个核心模块。首先，启发式多楼层规划器将附近的前沿区域分组为“区块”，并使用语义线索进行评分，然后选择最佳的区块进行探索——并且能够自主导航楼梯过渡。其次，多视图目标验证模块使用视觉语言模型（VLM）在确认匹配前检查候选物体的多个视角，从而大幅降低误报。第三，动态行人避让管道通过卡尔曼滤波器检测移动人员，并将当前和预测位置都视为障碍物，实时更新占据网格。
关键成果
研究团队在三个基准上评估了ZONDA：HM3D、MP3D以及一个新的动态基准HM3D-DYNA（增加了移动行人）。在HM3D上，ZONDA的成功率（SR）达到66.5%，按路径加权的成功率（SPL）达到33.0%，在SR上比之前最先进的ASCENT高出超过5个百分点，在SPL上高出7个百分点。在MP3D上，SR达到48.2%，SPL达到21.5%，同样超过了ASCENT。
消融实验量化了每个模块的贡献：
| 变体 | HM3D SR | HM3D SPL | MP3D SR | MP3D SPL |
|---|---|---|---|---|
| 完整ZONDA | 66.5% | 33.0% | 48.2% | 21.5% |
| 无启发式区块 | 62.6% | 26.8% | 38.6% | 13.4% |
| 无跨楼层导航 | 57.8% | 28.5% | 44.2% | 20.7% |
| 无多视图验证 | 41.5% | 23.4% | 30.2% | 11.6% |
多视图验证模块单独移除后，HM3D上的SR下降了25个百分点，凸显了避免过早错误匹配的重要性。在具有动态行人的HM3D-DYNA上，ZONDA保持了62.1%的SR和29.8%的SPL，而没有行人避让的基线则降至38.5%的SR。
工作原理
ZONDA基于固定网格分辨率的RGB-D输入构建三层地图。物体实例地图存储检测到的物体及其增量置信度分数，语义热力地图编码基于先前物体共现找到目标的可能性，可通行地图使用高度差来识别表面和楼梯。这三层地图每帧都会更新。
启发式多楼层规划器使用DBSCAN聚类将未探索的前沿区域分组为空间连续的区块。每个区块通过一个启发式函数评分，该函数平衡语义相关性（基于热力地图，区块包含目标的可能性）和信息增益（可覆盖的新区域面积）。然后，机器人使用A*算法在占据网格上导航到得分最高的区块。如果在可通行地图中检测到楼梯或斜坡，规划器会触发跨楼层过渡，引导机器人朝向它并调整高度参考。
当机器人到达候选目标位置时，多视图目标验证模块从最近的观测缓冲区中查询最佳质量的多个尺度（近场和远场）图像。这些图像作为批次输入给VLM（例如GPT-4V），后者联合推理上下文和细节。例如，一个小收音机在特写中可能看起来像电视，但当VLM看到更广的场景中没有电视大小的物体时，就会被排除。
动态行人的检测通过分割RGB-D帧、将实例掩码内的深度点反投影到3D、并使用恒定速度卡尔曼滤波器跟踪质心来实现。数据关联使用匈牙利算法。当前和预测位置（外推2秒）均膨胀0.50米并投影到占据网格上。规划器随后选择避开这些动态障碍物的路径点，并由低层MPPI控制器输出平滑的速度命令，供真实机器人执行。
对机器人技术的意义
大多数物体导航系统假设静态的单层环境——这对于办公室、医院或仓库中的现实部署是不现实的约束。ZONDA同时解决了三个实际问题：无需经过训练的楼梯导航策略即可搜索多个楼层，避免导致机器人过早停止的误报，以及在人群中安全导航。
对于仓库运营商来说，这意味着移动机器人可以在多个层面定位放错位置的物品，而无需昂贵的场地特定训练。对于医院的服务机器人，机器人可以在避开工作人员和访客的同时自主运送物资。零样本特性——无需为每个机器人重新训练——使其特别适用于异构机器人车队。模块化架构意味着规划器和验证模块可以重复用于不同平台，从轮式到双足机器人。
那些升级现有车队的用户，可以探索可能受益于这种导航栈的仓库机器人。对于双足或人形平台，见Robot Overflow上的人形机器人。
局限性与开放问题
ZONDA目前需要一个强大的VLM进行多视图验证，这增加了延迟和计算成本。论文报告了使用带有RTX 5060 Ti的离线工作站实现实时性能，但完全在机器人上部署需要更高效的模型或硬件加速。动态避让管道假设行人运动可预测（恒定速度），可能在剧烈运动或拥挤场景中失败。此外，楼梯穿越策略依赖于高度差的可通行地图——可能难以处理不产生清晰高度梯度的陡峭或狭窄楼梯。最后，该系统仅在内测试；室外多楼层导航（例如斜坡、不平整地形）尚未探索。
常见问题
ZONDA中的“零样本”是什么意思？ ZONDA不需要在目标环境上进行任务特定的训练或微调。它使用预训练模型进行感知，并使用VLM进行验证，然后应用启发式规划进行导航。
ZONDA如何处理楼层之间的楼梯？ 可通行地图检测到对应于楼梯或斜坡的高度不连续性。规划器将其视为可通行单元格，并在过渡期间调整机器人的高度参考，从而无需学习楼梯策略。
ZONDA是否适用于任何机器人平台？ 是的。低层控制器（离散或连续）与规划模块解耦。规划器输出路径点，任何兼容的局部规划器都可以执行它们——这已在Direct Drive Tech TITA双足机器人上得到验证。
评估ZONDA使用了哪些基准？ 研究团队测试了基于Habitat的HM3D和MP3D基准，以及一个新的HM3D-DYNA变体（增加了移动行人）。结果显示，在所有三个基准上，ZONDA都比先前方法有持续改进。
结论
ZONDA通过在一个框架中应对多楼层探索、误报避免和动态行人安全，为零样本物体导航设立了新标准。其模块化、平台无关的设计使其在人类居住的室内空间中的实际部署非常实用。
像ZONDA这样的零样本导航系统能否最终取代商业机器人中传统的基于SLAM的导航，还是它们将保持互补？
— 《原文结束》