大多数机器人基准测试将每个问题视为全新开始，在每次回答后重置机器人的记忆。新研究揭示，这种情景式评估隐藏了一个关键缺陷：只有构建结构化3D空间语义地图的智能体才能在问题序列中积累知识，而简单的记忆架构会导致机器人反复重新探索并忘记已经看到的内容。
目录
研究人员构建了什么
来自马里兰大学及合作机构的研究人员开发了一种用于具身问答（EQA）的顺序评估协议。与标准情景式基准测试不同（后者在每次查询后清除机器人的内部状态——地图、记忆、感知嵌入），新协议在同一环境中连续提出多个问题而不重置。这一微小变化暴露了一个关键架构瓶颈：依赖情景记忆或隐式潜在状态的智能体无法有效重用先前的观测。
为了测试这一瓶颈，团队比较了四种代表性智能体架构：
- ExploreEQA：一种使用2D占据图的VLM，仅记忆机器人去过哪里，而不知道看到了什么。
- MemoryEQA：一种带有情景语义库（包含带姿势标签的图像和描述）的VLM，但没有空间融合。
- 3D-Mem：一种带有完全结构化3D空间语义地图的VLM，将视觉特征直接绑定到3D坐标。
- UniNavid：一种视觉-语言-动作（VLA）模型，从短RGB窗口预测航路点，记忆仅存在于其Transformer注意力状态中。
他们在仿真和真实的Unitree Go2四足机器人上测试了这些智能体，每个环境询问五个问题，涵盖物体识别、计数和定位。
关键结果
顺序评估揭示了性能上的显著差异。在基准测试的一个代表性场景中，3D-Mem在情景式评估下仅正确回答了3个问题中的1个，因为每个问题的探索预算内探索不完整。当同样的三个查询顺序提出而不重置地图时，3D-Mem正确回答了所有三个问题，且总移动距离更少。
其他智能体类型没有表现出这种改进。ExploreEQA的2D占据图无法检索视觉内容——它知道智能体去过哪里，但不知道那里有什么，因此后续关于物体属性的问题需要重新导航。MemoryEQA的情景库缺乏空间一致性；从不同视角检索的帧无法组合成连贯的推理。UniNavid完全从情景重置中训练，没有表现出顺序优势，因为其隐式潜在记忆没有机制跨查询边界整合观测。
这些趋势在室内实验室、开放大厅和走廊的真实机器人实验中也得到验证。物理感知噪声和致动漂移放大了简单记忆架构的弱点：噪声观测降低了证据质量，没有结构化地图，智能体就没有稳定参考来判断后续查询是否能从先前的证据中回答。
工作原理
核心见解是记忆架构决定了智能体是否能够组合性地积累知识。情景式评估在每次问题后重置智能体，因此即使结构不良的记忆也可能在单个查询上成功。在顺序评估下，智能体必须判断新问题的答案是否已存在于其存储的环境表示中。
四种智能体类型代表了记忆架构的一个谱系：
| 智能体 | 记忆类型 | 存储内容 | 顺序优势 |
|---|---|---|---|
| ExploreEQA | 几何占据图 | 可通行空间、前沿分数 | 无——无法回忆物体 |
| MemoryEQA | 情景语义库 | RGB帧+位姿+描述+嵌入 | 弱——缺乏空间融合 |
| 3D-Mem | 结构化3D空间语义地图 | 绑定到3D坐标的视觉特征 | 强——组合推理 |
| UniNavid | 隐式潜在（Transformer注意力） | 短窗口RGB帧 | 无——为单集设计 |
3D-Mem将来自不同视角的观测融合成全局一致的3D重建，将物体级特征直接链接到空间坐标。当新问题到来时，智能体可以通过空间区域或语义类别查询此地图，无需重新导航即可检索先前看到的物体。这不仅是效率提升——还提高了准确性，因为智能体有来自先前遍历的更完整证据。
其他智能体失败的原因各异：ExploreEQA没有语义记忆，MemoryEQA存储事件但无法空间融合，UniNavid根本没有长期记忆。顺序协议清晰地隔离了这些失败，表明关于记忆结构的架构选择直接决定了智能体是否能够处理连续部署。
这对机器人技术为何重要
顺序具身问答是现实世界服务机器人的自然模式。一个被要求“找到蓝色箱子”然后“蓝色箱子满了吗？”的仓库机器人不应重新探索整个楼层。一个被问“钥匙在哪里？”然后“它们是什么颜色？”的家庭助手应该从第一次搜索中回忆起钥匙的外观。这篇论文表明，目前大多数EQA系统无法做到这一点——它们将每个问题视为独立事件，浪费时间并可能导致错误。
对于评估机器人的买家和运营商，这一发现指向了一个关键规格：机器人的记忆架构。并非所有“记忆”都是一样的。构建持久3D空间语义地图（如3D-Mem）的机器人可以跨任务和查询积累观测，而依赖情景日志或隐式注意状态的机器人将在顺序交互中挣扎。
这对于在Robot Overflow浏览人形机器人或仓库机器人时有直接影响，这些机器人需要即时回答操作员问题。它还表明，二手工业机器人在配备VLM时，除非与结构化记忆层配对，否则可能表现不佳。
局限性与未解问题
该研究聚焦于四种特定智能体架构和有限的问题类型（颜色、计数、位置）。目前尚不清楚结果如何推广到更复杂的查询、物体移动的动态环境，或需要地图随时间更新的终身学习场景。真实机器人实验使用了单一四足平台；轮式或人形机器人上的噪声特性可能不同。
另一个未解问题是如何高效更新3D地图，当物体被移除或重新放置时。顺序评估假设静态环境。在实际部署中，记住昨天家具布局的机器人今天可能会给出错误答案。能够遗忘或更新的自适应记忆仍然是一个未解决的挑战。
常见问题解答
具身QA中情景式评估和顺序评估有什么区别？ 情景式评估中，每个新问题前机器人的记忆被完全重置。顺序评估中，机器人在同一环境中跨问题序列保留其内部地图和记忆。
哪种记忆架构在顺序评估中表现最好？ 3D-Mem智能体，它构建了结构化3D空间语义地图，通过跨查询积累观测并进行组合以回答后续问题，优于其他所有智能体。
这些发现适用于真实机器人还是仅限仿真？ 是的，研究者在室内环境中使用物理Unitree Go2机器人验证了所有四种智能体，顺序趋势与仿真结果一致。
为什么简单的情景记忆无法处理顺序问题？ 情景记忆作为独立事件存储，缺乏空间融合。机器人无法跨视角推理或判断新问题是否能从过去观测中回答，迫使其重新探索。
结论
这篇论文揭示了具身问答中的一个根本盲点：情景式评估掩盖了大多数智能体处理顺序查询时的糟糕表现。只有具有结构化3D空间语义记忆的智能体才能跨问题积累知识，这对于任何部署在连续环境中的机器人都是必不可少的。顺序评估协议应成为通用机器人智能体的标准测试。
如果你的机器人能记住，你希望它回答关于昨天工作班的第一个问题是什么？