系统概览
这一架构位于经典机器人中间件与近年来兴起的语言驱动机器人技术之间。大语言模型（LLM）和视觉-语言-动作（VLA）系统展现出了强大的任务级先验与泛化能力。
物体位姿与操作参数
第三次交接将感知结果转换为面向运行时的对象。WorldObject 包含六维位姿、坐标系 ID、置信度、角色、技能和元数据。FoundationPose 的服务边界如今已落实为具体的 HTTP/RGB-D 协议：智能体发送目标查询、输出坐标系、相机内参、RGB 图像、深度图以及可选掩码；GPU 侧服务则返回物体名称、坐标系、置信度、技能、角色、位姿和网格元数据。该服务还提供健康状态、模型和物体端点，并支持模拟模式，以便在 GPU 感知栈和掩码尚不可用时先行完成软件集成。
随后，原型系统为 WorldObject 记录补充确定性的操作参数。操作参数规划器根据位姿、计算得到的尺寸、角色、可用技能和运行时绑定关系，生成接近、抓取、抬升、放置、插入、倾倒、分配、点击、滑动和旋拧等操作参数。这些默认值以 perception_args、skill_args 和 target_skill_args 的形式存储，并在编译技能调用时由运行时合并。
这一交接为感知输出与技能模板之间搭建了一座可解释的桥梁，使干运行轨迹能够准确说明：为什么选择了特定的抓取位姿、放置位姿、插入深度或倾倒间隙。
目标与任务表征
这一失败即停止的策略有意采取保守取向。它避免语言规划器掩盖感知缺失或技能不受支持的问题，也让表征交接更易于调试：故障可以定位到场景原点准备、世界坐标落地、规划器校验、技能覆盖、操作参数解析、运行时预检查、安全校验、执行器路由或硬件执行中的具体环节。
实地经验
经验 1：六维位姿不可或缺，但仍然不够
FoundationPose 的输出很有价值，但移动操作系统需要的不只是位姿，还包括坐标系、置信度、物体身份、几何信息、技能、角色以及针对目标的操作参数。下游规划器应接收一个可执行的物体，而不是原始的感知结果。
经验 2：配置档案是表征，而不只是配置
使用、标定和开发配置档案分别编码了三种不同形式的状态：物体先验、几何部署事实和能力契约。将这些档案视为一等表征后，启动检查和干运行轨迹所提供的信息，便比零散的配置文件更加丰富。
经验 3：受约束的中间形式让 LLM 规划变得可调试
LLM 只能在技能库契约约束下提出已注册的技能调用。它不能凭空编造任意 ROS 命令，绕过角色要求，使用未声明的参数，或执行未注册的恢复操作。这种设计牺牲了一定灵活性，却能将不受支持的能力明确暴露为 unmapped_requests，而不是让它们隐藏在模型假设之中。
经验 4：部署障碍本质上是表征障碍
真实机器人上剩余的工作并不只是硬件启动与联调，更在于补齐缺失的表征：经过测量的相机、激光雷达和滑台变换；桌面坐标系定位；物体网格；真实 RGB-D 掩码或检测结果；以及经过标定的工作空间边界。
这份实地报告的价值在于：这些障碍都出现在表征接口处，因此可以针对性地进行测试。
结论
本报告将一个基于 OpenArm 的具身智能原型重新诠释为系统集成过程中的一系列表征交接。其核心成果不是新的感知模型或控制器，而是一条可审计的路径：从实验室指令、地图、物体位姿、物体先验和技能库契约，通往经过校验的技能调用、操作参数、运动目标以及运行时反馈。
当前实现已经提供了软件层面和干运行层面的证据，证明这些交接可以执行；与此同时，它也明确指出了在声称具备真实场景视觉操作能力之前仍需完成的工作。下一步是用实地测量数据替换占位的标定与模型资产，使 FoundationPose 服务与当前使用配置档案中的物体注册表保持一致，启用严格的真实场景落地，并在抓取、放置、插入、倾倒、清洁和屏幕交互任务中评估任务级故障。
致谢
本工作得到深圳市基础研究计划项目（项目编号：JCYJ20200109141235597）、国家自然科学基金项目（项目编号：72401122、61761136008）、广东省基础与应用基础研究基金项目（项目编号：2024A1515012241、2021A1515110024）、深圳市孔雀计划项目（项目编号：KQTD2016112514355531）、广东省引进创新创业团队计划项目（项目编号：2017ZT07X386）以及澳大利亚研究理事会（ARC）探索基金项目 DP210101093 和 DP220100803 的支持。
常见问题
第三次表征交接转换的是什么？ 它将感知结果转换为面向运行时的对象，其中包含位姿、坐标系、置信度、角色、技能和元数据。
为什么失败即停止策略是保守的？ 它能防止语言规划器掩盖感知缺失或技能不受支持的问题，并让故障更容易定位。
下游规划器应该接收哪些信息？ 它应接收一个可执行的物体，其中包含位姿、坐标系、置信度、身份、几何信息、技能、角色以及针对目标的操作参数。
在声称具备真实场景视觉操作能力之前，还需要完成什么？ 必须用实地测量数据替换占位的标定与模型资产，启用严格的真实场景落地，并评估任务级故障。