视觉-语言模型能够描述场景并回答问题，但它们真的能控制一个物理身体来执行现实世界中的任务吗？HumanCLAW评估VLM是否能在物理约束环境中通过人体采取行动，使用一个将动作推理与低级运动控制解耦的基准。智能体观察、决策、行动并接收反馈，但动作通过受物理世界约束的身体运动来实现。一个解耦的运动生成器将每次调用实现为亚秒级、零样本可靠的未来运动片段。观察-思考-行动循环是动态的：智能体不会固守固定计划，而是根据自身身体与场景之间的空间关系不断调整，而这些关系正是由其自身行动所塑造。
问题设定
CLAW类智能体通过符号接口使语言目标可执行。HumanCLAW研究当接口是物理空间中的完整人体时，相同的智能体循环如何运作。智能体仍然观察、决策、行动并接收反馈，但行动不再以命令结束：它通过身体运动实现，并受物理世界约束。
其中使用来自固定技能集的原子技能及其连续参数。然后，解耦的运动生成器将调用实现为亚秒级、零样本可靠的未来运动片段。
运动解耦的物理模拟
研究具身行动智能的另一挑战是如何将动作推理与低级运动控制解耦。在完全动态的人形模拟中，长期任务的失败可能源于运动系统。例如，在杂乱环境或楼梯上，人形可能失去平衡摔倒，提前终止回合，从而无法有意义地评估其行动智能。
在HumanCLAW模拟中，世界遵循刚体物理，包括碰撞、摩擦、重力、铰接物体和可移动物体。然而，人体并非由模拟关节力矩驱动，而是由从生成的运动序列中导出的等效运动学速度驱动。这意味着智能体不会因平衡丧失或运动跟踪不完美而失败（例如在楼梯上行走时），但仍与环境进行物理交互：墙壁可以阻挡身体，接触可以推动可移动物体，无支撑的垂直运动仍受重力和接触约束。
旋转分量由相应切空间中的相对旋转计算得出。这些等效速度作为人形唯一的驱动信号。遵循先前的被动身体模拟实践，模拟器以特定频率（赫兹）运行，并使用被动关节刚度（特定刚度值）来保持柔顺的接触响应。
这种半物理设计使HumanCLAW能够在物理后果下评估行动智能，而不会使基准被运动控制失败主导。生成的运动指定了预期的身体运动，而模拟器决定了该运动如何与物理世界交互。因此，诸如撞墙、干扰物体或过早停止等失败可归因于行动层面的决策，而低级平衡控制的失败则基本被排除。
评估指标
VLM从四个维度进行评估：高级任务成功率、低级动作质量、身体意识与物理干扰，以及计算成本。
动作质量。 VLM智能体应将运动技能组合成平滑连贯的行为。较差的技能编排可能导致不稳定运动，例如频繁交替左右转弯。动作平滑度通过运动加加速度（智能体运动的三阶导数）来测量。
身体意识与物理干扰。 身体意识是具身行动智能的关键组成部分。缺乏身体意识可能导致与环境意外交互，例如在穿过走廊时刮蹭墙壁或撞倒花瓶。报告每回合中发生碰撞的平均步数，记为Colls。环境干扰还通过统计人类智能体在回合中直接或间接移动的可移动物体的平均数量（记为#Dtb）以及每个被干扰物体的平均位移距离（记为dDtb）来衡量。
成本。 报告智能体每回合消耗的平均令牌数（包括输入和输出令牌），作为计算成本的度量。
基准测试
九个现成的VLM作为固定决策者进行评估，并报告完整的验证结果。
具身任务与交互环境
现有的具身环境通常与通用MLLM不匹配。程序驱动环境通过预定义转换解决动作，几乎不需要推理身体运动或物理后果。完全基于物理的模拟器需要高频连续控制，并将空间决策与运动执行纠缠在一起。HumanCLAW采取了中间路线：固定MLLM基于自我中心观察选择参数化的全身运动技能，利用运动生成模型自回归生成连续的长期行为。半物理执行在保留碰撞、接触和物体干扰的同时抽象化低级控制，从而实现基本的具身交互。
讨论
这种差距归因于这些模型的构建方式。通过视觉问答训练的VLM学会了描述所见之物，而非感知自身行为；它将自己的肢体视为更多像素，从未形成通过身体行动所需的本体感知和后果预测模型。结果就像幽灵一样——对世界流畅描述，却对自身浑然不觉。弥合这一差距可能不仅需要更敏锐的识别或更长的上下文窗口：它需要持久的空间记忆、校准的终止条件，以及一个包含身体和每种动作产生的空间关系的内部模型。
常见问题
HumanCLAW与其他具身AI基准有何不同？ HumanCLAW使用半物理模拟将动作推理与低级运动控制解耦，因此任务失败可归因于行动层面的决策，而非平衡或运动跟踪错误。
半物理模拟如何工作？ 人体由生成的运动序列的等效运动学速度驱动，而非关节力矩，而环境遵循完整的刚体物理，包括碰撞、摩擦和重力。
使用哪些指标评估VLM智能体？ 智能体在任务成功率、动作质量（运动加加速度）、身体意识（碰撞频率和物体干扰）以及计算成本（令牌消耗）上接受评估。
当前VLM的主要局限是什么？ 当前VLM将自己的身体视为像素而非形成本体感知模型，导致“对世界流畅描述，却对自身浑然不觉”。