PhysWord为机器人操作模型提供一套精简的动作阶段词汇，例如抓取或插入，并配以对视觉和触觉变化的预测。这种方法有助于机器人在执行动作前推理其物理后果。测试显示，该方法能形成可复用的动作表征，在接触密集型任务中表现出色，并可迁移到陌生的任务设置。
目录
研究人员构建了什么？
PhysWord是一种机器人学习模型，旨在将某个动作与其后可能发生的物理变化联系起来。它不直接把摄像头输入映射成一连串电机指令，而是先生成“物理词汇”：用于表示可识别动作阶段的表征，并配上对场景变化的预测。例如，抓取、滑动或插入等阶段都属于此类，因为动作和与物体的接触都至关重要。
该模型按时间和感官通道组织这些表征。视觉物理词汇描述预期的视觉变化；在配备触觉传感器时，触觉版本则捕捉预期的接触信息。随后，动作模型将这些表征用作生成机器人运动的上下文。
研究人员在两类机器人平台上测试了该方法：一套配备两个夹爪的双臂系统，以及一套灵巧手系统。真实场景任务包括捡起纸张并放入篮子、将羽毛球插入管中、装箱并封箱，以及将螺钉拧入玩具车底座。这些任务不只是识别物体那么简单：机器人还必须处理接触、调整抓握，或按顺序协调多个动作。
PhysWord报告了哪些结果？
PhysWord在模拟环境和真实机器人平台上接受了评估。论文报告称，该方法在操作任务中表现出色，能够泛化到陌生配置，并能有效执行长时程任务，即包含多个相互依赖动作的序列。然而，所提供的论文文本没有列出具体任务成功率或完整的基准对比得分，因此无法将结果概括为具体的百分比提升。
几项已报告的测量结果有助于解释该方法为何可能奏效。在对随机抽取的500个动作标签进行人工检查时，GPT生成的标签与人工标注的准确率为95%。研究人员还发现，物理词汇监督使相同动作表征之间的平均距离缩短了约41%（视觉）和50%（触觉）。换言之，对于给定动作，模型在不同情境下形成的表征变得更加一致。
真实场景评估涵盖四项多步骤任务，每项任务收集了100条演示数据，用于下游微调。模拟对比中，复现的基线方法每项任务使用50条演示数据。泛化测试改变了背景、物体实例和物体位置；评估还测试了桌面上30个已标记位置处的物体。这些数字描述的是评估设置和表征质量，并非报告的整体任务成功率。
PhysWord如何工作？
PhysWord采用混合 Transformer 架构：两个相互连接的 Transformer 分支分别处理问题的不同部分。时序感知分支以Cosmos-Predict2.5-2B初始化，用于处理视觉历史和对场景演变的预测。推理和动作分支以Qwen3-VL-2B初始化，用于生成物理词汇，再生成机器人动作。实际而言，一个分支帮助追踪场景如何变化，另一个则将这些上下文转化为结构化动作计划。
训练过程为模型提供两种互补的指导。首先，将演示数据拆分为原子动作阶段——即任务中简短而有意义的部分——并为每个阶段赋予一个动作标签。GPT生成这些标签，并将其与对应时间段内的观测对齐。对于双手任务，两只手分别标注，因此标注可以表示同时发生但彼此不同的动作。
其次，模型学习与这些动作阶段相关联的未来感官信息预测。训练目标是将语义标签（例如动作类别）与未来视觉或触觉条件的潜在表征联系起来。这里的“潜在”指模型学习到的内部数值表征，而不是人类可读的描述。只有训练数据中包含触觉观测时，才会纳入触觉目标。
部署时，机器人生成一个动作块并执行，同时准备下一次预测。真实场景系统采用实时分块执行：执行预测动作块中的8个动作后，再切换到下一个动作块；与此同时，推理会异步运行，并使用新采集的观测。这种重叠执行旨在让机器人持续运动，而不是每次模型需要推理时都暂停。
这对机器人技术为何重要？
如果机器人只预测下一步运动，那么在任务依赖接触时就可能遇到困难。捡起薄纸、插入易损的羽毛球或拧紧螺钉，都要求机器人预判物体会如何响应，而不只是将夹爪移向目标。PhysWord的核心思路是将这些物理预期纳入模型的动作规划。
动作词汇还可能让学到的技能更容易复用。如果“抓取”或“插入”在不同场景中拥有更一致的内部表征，机器人就可能更善于将这些技能应用于新任务，或用于更长序列中的不同阶段。已报告的泛化测试和长时程任务探索了这种潜力，但并不能证明该系统能够可靠地迁移到每一种物体或工作场所。
对于机器人买家和工程团队而言，这项研究提出了一个有用的设计方向：将感知、接触预期和动作排序联系起来，而不是把它们当作彼此孤立的问题。实验使用了双臂夹爪和灵巧手，但任务和训练设置仍较为特定。在为操作任务评估硬件时，团队可以浏览待售二手机器人，并评估平台是否支持可比工作流程所需的摄像头、触觉感知和控制能力。
有哪些局限和待解问题？
这套动作词汇不涵盖全身控制，包括爬楼梯等任务。这使当前方法仅适用于训练和评估中涉及的操作动作及平台能力；它尚不是适用于机器人所有行为的通用词汇体系。
已报告的动作标签虽有用，但并非完美。在500个示例的检查中，95%的吻合率意味着仍有一些标签错误，尤其是在偶然动作看起来像有意动作时。例如，暂停时的手指敲击可能被标记为点击，即使实际上并未按下按钮。论文报告称，尽管存在这类噪声，执行仍保持稳定；不过，要确定该方法能够容忍多大程度的标签错误，还需要更广泛的测试。
所提供的结果也没有回答若干重要的部署问题：具体任务成功率、长时间运行时的表现，以及在更多硬件和设置下的稳健性，均未见于现有文本。物理词汇依赖演示数据和动作标注，因此，将词汇扩展到新任务所需的成本仍是实际考量。
常见问题
什么是物理词汇？ 它是一种将动作阶段与对未来视觉或触觉信息的预测联系起来的学习表征，为动作模型提供关于接下来可能发生何种物理变化的结构化上下文。
PhysWord是否需要触觉传感器？ 不需要。视觉物理词汇用于视觉信息；只有在具备触觉观测时，才会纳入触觉版本。
真实机器人执行了哪些任务？ 任务包括将纸张捡起并放入篮子、插入羽毛球、装箱并封箱，以及拧入螺钉。
PhysWord能控制机器人的整个身体吗？ 按照这里介绍的动作词汇，目前还不能。论文指出，爬楼梯等全身行为不在当前系统的适用范围内。
核心结论是什么？
PhysWord围绕可复用的动作阶段，以及对未来接触和运动的预测来组织机器人操作。模拟和真实机器人评估显示，该方法在接触密集型和多步骤任务中前景可期，但动作覆盖范围仍有限，部署方面也需要更详尽的证据。
哪类机器人任务最能受益于在行动前预测接触的模型？