4.1 基于状态与本体感知的表征
基于状态的环境表征具有良好的可解释性和样本效率,并能支持精确的策略学习。然而,这类方法依赖准确的感知与环境建模,因而难以扩展到真实世界部署场景;在现实环境中,如此丰富的信息往往难以获得。
机器人学习领域的综述指出,依赖精确表征的学习方法,在环境状态不确定或只能部分观测的非结构化环境中往往表现不佳。
4.2 用于机器人学习的视觉表征
二维表征能够为机器人提供环境的高层信息,但无法充分建模深度估计、空间结构和时间特征,而这些信息对于下游机器人学习任务至关重要。因此,有必要引入更多视角与感知模态,帮助机器人更好地感知和理解周围环境。

4.3 多视角表征
与仅编码单一视角或单个摄像头信息的二维表征不同,多视角表征融合来自多个摄像头视角的视觉信息,从而缓解单视角感知所面临的表征歧义。
早期关于多视角表征的研究表明,主动选择视角并移动摄像头,能够通过揭示环境中被遮挡的部分,显著提升视觉理解能力。这些发现推动了固定式和可移动式多摄像头在机器人学习中的应用。
近年来,机器人学习中的多视角学习方法通常采用共享编码器,分别处理来自各个视角的视觉信息,再通过基于注意力的融合机制整合不同视角的信息。
Transformer尤其适合执行这一任务,因为自注意力机制能够关联不同视角中的对应特征,并推理各视角之间的空间一致性。借助这一能力,模型可以学习出对摄像头位置不那么敏感的潜在表征,从而提升策略在部署过程中的鲁棒性与泛化能力。

5. 用于机器人学习的视觉—语言—动作模型
本节考察不同的架构范式,重点关注它们如何将视觉—语言表征连接到机器人动作。对于不同的 VLA 模型系列,这种连接取决于动作的表示方式、动作预测的训练方法、时间结构的融入方式,以及如何处理具身特定的约束、反馈和物理落地问题。
生成式建模技术,尤其是扩散模型与流匹配,已经成为 VLA 框架中生成动作的强大工具。
前文介绍的二维、三维及时空表征,会影响现代机器人学习系统的设计,并提升其性能。
7.1 未来方向
归根结底,机器人学习的目标并不是简单地构建能够将观测映射为动作,或生成合理未来预测的系统,而是开发能够在真实世界中提供帮助的自主智能体:它们应当形成对世界的内部模型,推理不确定性与变化,并以有效完成任务、同时以环境底层结构为物理依据的方式采取行动。
要实现这一目标,就必须从改进单个组件转向理解各组件之间的交互;同时,也要从追求孤立基准测试中的性能,转向设计能够在开放世界中可靠运行的系统。
从这个意义上说,将理解、行动与推理融为一体,并非未来系统的一项可有可无的优点,而是实现可扩展、通用机器人学习的必要一步。

常见问题
真实世界部署中,哪些因素限制了基于状态的机器人表征? 这类表征依赖准确的感知和环境建模,而在真实世界部署过程中,通常很难获得如此完整丰富的信息。
为什么多视角表征对机器人学习有用? 它们融合来自多个视角的信息,能够减少单视角感知中的歧义,并揭示环境中被遮挡的部分。
Transformer 如何支持多视角学习? 自注意力机制有助于关联不同视角中的对应特征,并推理各视角之间的空间一致性。
统一机器人学习的未来目标是什么? 目标是开发能够理解真实世界、对其进行推理并采取有效行动,同时始终以物理环境为依据的自主智能体。
