人形机器人可以通过仿真经验学习从感知到行动的协同工作流程，无需每个训练回合都由人类远程操控。该系统结合基于摄像头的任务规划、动作生成和深度输入驱动的控制器，再将训练好的系统迁移到它既未见过、也未建图的真实环境中。这种方法有望降低开发新机器人技能的成本，但任务编写和接触感知仍是主要限制。
目录
研究人员构建了什么？
研究人员构建了一套主要通过仿真训练的人形机器人自主系统。它的任务是将任务指令和摄像头画面转化为一连串身体动作。系统不再通过让人远程操控机器人来收集每个练习样本，而是以仿真生成的合成数据作为训练引擎。
这套系统将规划与物理控制分开。动作生成器会生成运动学计划，描述机器人在执行任务时身体应如何移动。动作跟踪器再将计划转化为机器人能够执行的动作。编排层负责协调整个流程并处理任务级决策。
系统围绕具体的室内活动设计，包括从桌子下爬过、穿过门口、推箱子，以及移动到指定物体旁。它还可以执行多任务序列，要求每条指令都依次成功。不过，新增任务并非自动完成：仍需有人编写提示词，并制作描述目标动作的关键帧。
系统取得了哪些结果？
主要成果是一套完整的仿真训练系统。研究人员报告称，该系统能够零样本迁移到训练期间未见过、未扫描或未建图的真实环境中。这里的“零样本”是指，系统部署到这些环境时，并未针对具体任务接受真实世界训练，也没有经过建图步骤。这是对仿真练习能否支持虚拟场景之外表现的一项重要检验。
评估涵盖了成功条件明确的任务：从桌子下穿过而不是绕行、避开摆动的门、推箱子、到达指定物体旁，以及按顺序完成一系列任务。仿真评估采用完整的部署系统，并以实时速度运行仿真，因此规划延迟也计入其中。
本摘要所依据的论文文本未提供数值成功率、对比结果或部分任务阈值，因此无法在此可靠地报告或比较这些数值。另一项发现与数据质量有关：在微调后，只用单一渲染人物训练的模型泛化能力下降；改用多种人物模型训练，则恢复了跟随不同人物的能力。研究人员还发现，如果仅凭图像就能猜出可能的任务，模型可能会学会忽略口头指令。
仿真到动作的流程如何运作？
系统将摄像头画面和任务提示词转化为计划，再训练控制器，让机器人在实体硬件上执行该计划。动作生成器负责较高层次的动作序列；跟踪器负责执行，在考虑机器人身体和执行器特性的同时跟随运动学计划。
跟踪器的训练分为三个阶段。首先，研究人员针对各项技能分别训练“特权”专家。这些专家可以使用仿真环境中提供、但真实机器人无法直接获取的信息。接下来，他们将这些专家蒸馏为统一的学生控制器，使其仅依赖深度输入。最后，他们通过强化学习、执行器建模和领域随机化对学生控制器进行微调。领域随机化会在训练过程中改变仿真条件，以帮助缩小仿真与实体硬件之间的差距。
完整系统在 MuJoCo 中接受评估，使用基于 OAK-1W 鱼眼相机模型的模拟头部摄像头画面。仿真以实时速度运行，因此评估设置将规划耗时也纳入其中，而不是将规划视为即时完成。
编排层运行在 Mac mini 上，使用 4-bit 形式的 Qwen3.6-35B-A3B 和 MLX。它与动作生成器共用一个服务引擎，因此无需网络连接即可进行规划。编排器也可以通过 API 调用外部闭源模型，不过论文指出，这些模型或许能提供更好的规划表现。
研究人员通过有针对性地调整数据，解决了两种训练捷径。使用多种 3D 人体模型有助于防止系统只学会识别某一个人的外貌。将部分训练图像替换为黑色画面，则迫使模型在这些样本中依赖语言指令，而不是根据场景猜测任务。
这对机器人技术有何意义？
机器人技能往往需要大量练习数据，而如果每个样本都依赖人类操作员，收集这些数据的成本就可能很高。仿真提供了一种生成练习数据的方式，无需每个训练回合都让人参与控制。对于开发人形机器人的团队而言，这或许能缓解一个重要瓶颈：如何从演示一次技能，迈向训练系统反复执行该技能。
这种方法也着眼于一项实际挑战：机器人必须能将“去椅子旁边”之类的指令转化为在真实房间中的移动。研究报告称，系统能够迁移到未经扫描、未建图的环境中，这表明它并不完全依赖每个测试地点预先制作好的地图。这对于房间布局会发生变化、且无法针对每种布局手动准备机器人的工作场所和家庭环境都很重要。
所展示的任务类型——绕过家具、穿过门口、推物体以及按序执行任务——是更广泛移动操作能力的基础。正在比较平台的买家可以在 Robot Overflow 浏览人形机器人，了解这类方法所面向的硬件。这些结果并不能证明机器人已具备通用自主能力，但展示了仿真训练如何支持更灵活的人形机器人部署。
有哪些局限与待解问题？
仿真减少了由操作员收集训练回合的需求，但并未让任务设计摆脱人工参与。仍需有人定义每项任务并制作相应关键帧，因此系统技能库的扩充速度仍取决于人工编写。
机器人主要依赖视觉，缺少直接的接触信息。如果物体被遮挡或离开摄像头视野，策略可能无法判断是否仍保持接触，这会增加接触密集型任务的难度。动作跟踪器接收的信息也十分有限：它只负责执行指定动作，并不知道计划的目的或场景期望达到的未来状态。若能将这些意图传递给跟踪器，当执行结果偏离计划时，它或许就能作出更智能的响应。
最后，编排层相对简单。任务种类增多后，可能需要更强的协调能力。论文还指出了微调中的一项权衡：如果不刻意丰富训练数据，视觉捷径可能削弱泛化能力，或导致系统忽略语言指令。
读者需要了解什么？
系统能完全脱离人工参与进行学习吗？ 不能。仿真减少了数据收集过程中由人操作机器人的需求，但仍需有人编写任务提示词并制作动作关键帧。
机器人需要为每个真实环境制作地图吗？ 研究人员报告称，系统能够零样本迁移到训练期间未见过、未扫描或未建图的真实环境中。
物体被遮挡后会发生什么？ 基于视觉的系统可能无法继续获取物体或接触状态的信息。研究人员指出，触觉感知或许能解决这一弱点。
机器人能按序执行不同任务吗？ 评估包含多任务序列，其中每个子任务都必须依次成功。本摘要所依据的论文文本未提供这些序列的数值成功率。
核心结论是什么？
仿真可以成为人形机器人自主能力的数据引擎，将视觉任务规划与实体动作连接起来，而无需每个训练回合都由操作员参与。这种方法展示了实现真实世界迁移的路径，但对人工任务设计的依赖以及仅依靠视觉的感知方式，仍是重要限制。
要让人形机器人更快规模化，哪项改进更有帮助：简化任务编写，还是提升接触感知？