HEFT是一种新型遥操作框架，可使全身尺寸人形机器人在跟随操作员（佩戴VR设备）发出的全身复杂动作指令时，双手同时搬运多达24公斤的重物。该系统解决了人形机器人遥操作中两个长期存在的挑战：操作员输入噪声以及随身体姿态变化的可变负载难度。
目录
研究人员构建了什么
研究团队构建了HEFT（重负载全身尺寸人形机器人遥操作）控制框架，运行在L7机器人上——身高175厘米、重65公斤、拥有29个驱动关节。该系统接收操作员通过VR控制器发出的实时指令，驱动机器人复现动作的同时搬运重物。
两个关键创新使这成为可能。首先，特权运动引导（PMG）让机器人在训练过程中从粗糙的VR输入中学习，通过与教师策略能够访问的、干净且物理可行的参考运动进行对比——但部署的学生策略无需访问该参考。其次，窗口化负载课程（WPC）将动作序列划分为短窗口，并为每个窗口使用专家模拟器确定最大安全负载。机器人的控制策略则在逐窗口变化的负载上训练，从而学会在运动的不同阶段处理不同重量，无需特定任务的搬运控制器。
最终得到的单一策略能够执行负载下的运动——转弯、前进/后退行走、深蹲——实际双手负载高达24公斤，且全程由操作员通过市售VR设备驱动。
关键结果
HEFT在仿真和实体L7硬件上均进行了评估。在硬件上，机器人成功完成了动态动作——包括转弯、前进/后退运动和深蹲——同时双手负载高达24公斤。这对于全身尺寸人形机器人而言是一项重大成就，因为此前大多数工作要么只能处理轻得多的负载，要么使用无法泛化到不同运动类型的任务特定控制器。
在仿真中，团队在L7平台和较小的G1机器人上进行了测试，并与早期方法对比。主要发现：
- PMG减少原始参考漂移： 当操作员的VR跟踪出现漂移时（例如因遮挡或校准误差），经PMG训练的策略比直接基于原始VR参考训练的策略更紧密地跟踪预期运动。
- WPC扩展高负载能力： 与全局固定负载上限相比，窗口化课程提高了最大可行负载——经WPC训练的策略在允许的运动阶段可携带更重负载，同时在无负载动作上仍表现良好。
- 单一策略效率： HEFT无需单独的搬运与非搬运控制器；一个训练好的策略即可同时处理无负载和重负载操作。
仿真中的定量比较显示，HEFT在性能上优于未经PMG训练的基线（跟踪误差更高）以及使用均匀负载计划训练的基线（重负载成功率更低）。
工作原理
HEFT采用教师-学生训练架构。训练期间，教师策略可访问特权信息：操作员VR运动的物理重建版本（而非嘈杂的原始数据）、每个时间窗口的专家计算负载上限，以及手腕实际施加的负载力。教师策略学习将原始VR输入直接映射到关节力矩，但在此过程中受干净参考的引导。
随后训练学生策略模仿教师行为，但无需这些特权信息。适配器网络负责从学生输入预测教师的潜在状态。部署时，只有学生和适配器在机器人上运行——无需重建、负载上限或模拟器。
负载课程细节： 专家（具有完整状态信息的参考跟踪策略）在手腕处施加递增向下力（以5公斤为步长），从30公斤向下测试，对机器人进行推演。对于每个短窗口（例如转弯或深蹲期间），专家找出机器人物理上能承受且不跌倒的最大负载。这些上限随后用于训练学生：在每个窗口的上限内采样负载，双手之间的比例随机分配，并在垂直方向12°锥体内施加。
机器人的本体感受输入（关节位置、速度、IMU等）和原始VR参考同时输入教师和学生。教师额外基于重建参考、窗口上限和负载状态进行条件化。学生则仅依赖自身潜在状态（由适配器提供）和原始VR输入。训练分三个阶段进行：在PMG和WPC下进行教师PPO优化；将潜在知识蒸馏到适配器；以及在滚动适配器预测潜在状态时微调学生。
为何对机器人技术重要
这项工作直接解决了人形机器人领域的一个关键空白：在搬运重物的同时，能够遥操作全身尺寸机器人执行有用工作。目前大多数人形机器人遥操作系统要么要求操作员手持轻量工具，要么依赖无法处理多样化运动的任务特定控制器。HEFT表明，单一学习策略即可管理负载行走、转弯和深蹲所需的全身协调。
对于仓库、建筑或灾难响应等应用，这是向部署可通过远程控制搬运箱体、设备或碎片的人形机器人迈出的实际一步。该方法还意味着操作员可使用低成本VR头显，无需昂贵的动作捕捉服，系统仍能可靠运行。
通过处理高达24公斤的负载——约等于大型展示柜或重型工具箱的重量——HEFT证明人形机器人不仅能灵巧操作，还能成为移动负载搬运者。这为那些固定基座的二手协作机器人无法胜任的任务打开了大门，而遥操作则赋予人类操作员高层决策能力。
局限性与开放问题
HEFT仍需要离线处理：VR参考运动必须进行物理重建，专家必须标注负载上限——这两个步骤需要时间和计算资源。将方法迁移到新机器人或不同跟踪设置意味着需要重新运行此数据准备流程。
负载模型简化：仅对手腕施加垂直力，未考虑抓取、物体形状、滑动或与环境接触。在实际任务中，箱子可能难以抓握或可能靠向表面。
硬件验证仅限于一个全身尺寸平台（L7）。在其他人形机器人上测试将揭示框架的泛化能力。最后，该方法尚未在非结构化户外环境或未见物体几何形状中验证。
常见问题解答
HEFT能处理多大重量？ 双手最高24公斤，重量在手腕间分配，适用于行走、转弯和深蹲等动作。
操作员需要特殊设备吗？ 不需要，只需标准VR控制器。系统可学习处理原始VR跟踪中的噪声，无需昂贵的动作捕捉服。
HEFT可用于商业用途吗？ 该框架已在一个机器人平台上经过实验室验证。商业部署需要在不同机器人和环境中进一步测试，并集成安全系统。
HEFT能否在没有负载课程的情况下工作？ 可以，但在重负载下性能会下降。窗口化课程正是让机器人在允许的运动阶段携带更多重量，同时保持其他阶段的灵活性。
结论
HEFT证明单一策略即可使全身尺寸人形机器人复制人类全身动作，同时搬运重达24公斤的负载。特权运动引导与运动自适应负载课程的结合使其成为可能，无需任务特定控制器或昂贵硬件。
你最希望看到遥操作人形机器人搬运24公斤执行什么实际任务？