XBot-Omni采用思考模块、语音生成模块和动作生成模块架构，将多模态理解与具身响应生成相连接。面对文本、图像、音频、视频和对话历史，思考模块负责理解交互并形成结合上下文的响应。语音生成模块将响应转化为流式语音，动作生成模块则同步生成身体动作和面部表情。三个模块共同组织交互响应，从接收观察信息到生成语言和非语言表达。
概述
该架构将响应构思与特定模态的生成分开，同时维持不同输出模态之间的协调。语音以声学序列的形式展开，身体动作从当前姿态开始连续演化，面部表情则在整个响应过程中不断变化。这些差异要求生成行为共享交际语境，并与语音的进程保持协调。
为此，动作生成模块利用思考模块的原生表征获取交互语境和交际意图，并利用语音生成模块的原生状态进行语音相关条件控制。这种连接使得用于构思响应的多模态理解也能指导身体表达。指向物体便是其中一种应用：依赖场景确定的指称对象会成为传递给动作生成模块的动作要求之一。
语音生成模块：流式语音生成
语音生成模块采用 Qwen3.5-Omni 的语音生成架构，将思考模块生成的响应转换为流式语音。它由混合时序主干网络和深度预测器组成。主干网络采用混合专家设计来建模语音词元的演进，而深度预测器则基于主干网络状态，对每一帧的残差码本进行多词元预测。
随后，语音编解码器的解码器会将这些词元解码为声学波形，从而支持增量式语音生成，无需预先合成完整响应。
基于原生表征的非语言行为协同生成
动作生成模块将身体动作和面部表情生成为具身响应中相互协调的组成部分。思考模块的原生状态承载构思响应所需的多模态语境和交际意图，而语音生成模块的原生状态则提供不断演进的语音特征和进度线索。
身体动作生成将这些输入与明确的动作要求、时间条件和动作历史相结合，使交互语境能够影响动作所表达的含义。面部表情生成则将共享的响应表征组织为分块级条件，以生成连续表情。两种输出流都被置于共同的语音时间线上，使身体姿势和面部变化彼此协调，并与相应的语音内容保持一致。
动作生成器
在每个动作步中，生成过程都以适配后的语音历史、当前语义事件及其时间条件，以及已经生成的动作作为条件。
生成的编码会被解码为关节化身体动作，同时也构成后续预测所用的历史信息。时间状态会在各步骤之间延续，使新的动作要求能够在持续进行的动作中生效。上半身和下半身编解码器的输出会在响应时间线上分配动作时间戳，将生成序列与最终呈现的语音和面部表情联系起来。
对于机器人特定的指向动作执行，空间目标和生成的参考动作会传递给运动学适配器。它会将目标转换到机器人的基座坐标系，并利用参考姿态引导逆运动学，使指向方向与目标对齐，同时保持动作连续性。平台特定的配置见第 4.4 节。
面部表情生成
面部表情分支采用分块变换器，将响应语义和语音特征组织为时序条件，随后由条件流生成器生成表情。
大规模、高质量的具身交互数据
要训练 XBot-Omni 应对真实世界的具身交互，需要数据不仅涵盖丰富的视听信息，还要捕捉细粒度的人类行为、潜在意图以及跨模态的时间依赖关系。然而，现有视听数据集主要聚焦于短片段或孤立事件，往往缺少真实场景中连续的行为和交互动态。与此同时，具身数据集大多侧重于动作识别和任务执行，对自然对话、社交互动和实时响应行为的覆盖有限。
为弥补这些不足，目标是构建一个兼具多模态丰富性、时间连续性和多样化具身交互的大规模数据集，以支持模型学习感知、理解并响应动态的真实世界环境。
思考模块训练
思考模块的后训练采用三阶段流程，旨在逐步发展并整合多模态交互能力。首先，监督微调为多模态感知、推理和交互理解建立统一基础。然而，不同的具身交互任务需要专门的推理能力和针对具体任务的优化目标。
因此，通过强化学习训练多个特定领域的专家策略，使每个专家专精于指定的任务领域。最后，采用多教师在策略蒸馏，将这些专门化能力整合到单一学生策略中。
感知到动作训练
感知到动作训练以思考模块和动作生成模块为基础，将多模态理解与具身响应生成相连接。此阶段通过添加特定任务条件，扩展已学习的语义事件接口，使交互语境既能引导手势表达的内容，也能影响手势如何随语音展开。空间定位与指向训练（SGPT）是一种实际应用，它将视觉目标识别与正在进行的响应中的完整定向手势相连接。
监督式观察–指令对用于建立指代表达与视觉目标之间的对应关系。目标定位结合深度估计和几何处理以获得度量位置，再将其转换到以动作生成模块身体为中心的坐标系。
系统集成
系统集成采用分阶段训练计划，将冻结的思考模块和语音生成模块与训练好的动作生成模块结合起来生成响应。完成多教师在策略蒸馏后，整合后的思考模块和语音生成模块会被冻结，动作生成模块则在这对固定的上游模型基础上进行训练。这一顺序确立了用于动作生成模块条件控制的语义表征和语音生成表征，并避免在动作生成模块训练期间改变其来源模型。专门化专家只用于思考模块训练；集成系统使用整合后的思考模块作为单一策略。
动作生成模块通过其语义和语音状态接口进行训练，而原生的思考模块–语音生成模块响应路径保持固定。SGPT 的坐标条件阶段采用相同的动作生成模块侧训练安排，在保留固定原生响应路径的同时，以空间目标扩展语义事件。
在推理阶段，视觉定位会提供目标参数，动作生成模块通过共享事件接口将这些参数与响应语义和不断演进的语音特征相结合。这条路径将用于理解和构思响应的语境传递至身体动作实现，指向物体是其中一种具体应用。该连接在动作生成模块侧学习，而上游思考模块和语音生成模块保持固定。
常见问题
XBot-Omni 包含哪三个组成部分？ 思考模块理解多模态输入并构思响应，语音生成模块生成流式语音，动作生成模块则生成身体动作和面部表情。
XBot-Omni 如何协调语音与非语言行为？ 动作生成模块利用思考模块的表征和语音生成模块的状态，并将身体动作与面部表情输出置于共同的语音时间线上。
系统如何生成机器人的指向动作？ 运动学适配器会将空间目标转换到机器人的基座坐标系，并利用参考姿态引导逆运动学，同时保持动作连续性。
集成系统如何训练？ 思考模块和语音生成模块完成整合后会被冻结，动作生成模块则通过它们的语义和语音状态接口进行训练。