将第一人称观测与全身动作连接起来，是人形机器人在人类环境中运行的基本挑战。人形机器人必须从其自身视角感知世界，识别任务相关物体，导航至这些物体，并通过协调的全身运动与之物理交互。这一感知到动作的循环——人类在日常环境中毫不费力地执行——需要一个将高维视觉输入和语言指令映射到全身运动行为的策略。
我们展示了缺失的环节是一个数据生成系统，该系统在三维高斯泼溅（3DGS）世界中合成配对的视觉观测和相应的机器人运动行为，适用于全身运动跟踪。这类系统的主要优势在于其实现的解耦。我们可以规定语言指令，利用模拟世界中的特权信息（物体姿态、碰撞几何、可步行区域）来降低行为生成的难度，并在事后渲染相应的第一人称观测图像作为RGB图像。通过利用目标标注、基于oracle的运动合成和事后渲染，我们可以将数据生产规模扩大数个数量级，生成同步的语言指令、第一人称视觉观测和全身运动轨迹，无需任何人工演示。
利用该系统，我们在由3DGS重建的公制室内场景中，于600 GPU小时内自动合成了48,000条轨迹。随后，我们训练了一个视觉-语言-运动学（VLK）策略，该策略以第一人称图像、任务指令和当前机器人状态为输入，预测短时域的全身运动轨迹以及二值化的手腕-物体接触标签。我们将这些接触标签视为运动状态的辅助组成部分：它们指示每个手腕是否应与操作物体接触，并且可以从我们的合成数据中直接获得。在部署过程中，一个接触感知的全身跟踪器利用预测的运动学和接触标签，为物理人形机器人生成动作。
我们在两个基本任务类别上评估了该系统：导航和物体运输。导航要求机器人移动到指定位置；物体运输要求它将物体移动到指定位置。两者共同构成了完整的感知-动作循环：视觉定位、移动、拾取、搬运和放置物体。在闭环模拟和物理G1机器人上的实验表明，我们在重建场景中合成的交互为基于感知的人形机器人定位操作提供了有效的模拟到现实监督。
在重建场景中合成数据生成
我们通过在重建的公制场景中合成Unitree G1运动并渲染相应的第一人称观测来生成训练数据。该流程包含三个阶段：场景重建与标注、在标注场景中合成G1运动、以及第一人称渲染。这些阶段共同产生配对的视觉-语言-运动学数据。
我们使用iPhone 14 Pro拍摄的Polycam扫描重建室内环境。扫描结合了RGB图像和基于LiDAR的深度，实现了公制场景重建。对于每个场景，我们优化一个3DGS表示，保留真实环境的视觉外观和空间布局，用于第一人称渲染。
视觉-语言-运动学策略
生成的视觉-语言-运动学序列为学习将机器人视角观测和任务指令映射到未来全身运动提供了配对监督。
实验设置
我们使用两个物理环境：一个实验室风格场景和一个公寓风格场景。对于每个环境，我们通过改变选定家具的位置和朝向创建多个物理布局，然后使用Polycam应用在iPhone 14 Pro上扫描每个布局，并用3D高斯泼溅（3DGS）重建。这产生了4个实验室和4个公寓布局，用于合成数据生成和模拟评估。实际部署在相同的两个物理环境中进行，家具布局在试验间手动变化。
合成数据生成细节
给定一个带有语义3D边界框和可步行区域标注的重建场景，该流程采样任务相关物体、可行的初始姿态、路点和任务指令；合成兼容G1的轨迹；过滤存在场景穿透的轨迹；并渲染配对的自我观测序列。每个序列包含同步的第一人称观测、语言指令和G1全身运动轨迹。
每个环境包含4个重建布局和12个数据生成模式：六个评估模式——走到、转身、拾取（地面）、放置（地面）、拾取（表面）、放置（表面）——以及辅助模式，如随机行走、转身、搬运和搬运转身。这些辅助模式通过暴露策略于多样的行走和物体运输行为来改善状态覆盖。我们对每个布局和模式合成1000条轨迹，每个环境总共48,000条轨迹。在单个NVIDIA L40S GPU上，为一个布局中的一个模式合成1000条轨迹大约需要4小时，而渲染相应的第一人称观测大约需要8.3小时。这些结果表明，在场景重建和标注之后，该流程可以自动生成大量的配对VLK监督，且生成过程跨布局和模式并行化。
视觉域随机化的效果
我们评估渲染过程中的视觉域随机化是否提高了在MuJoCo模拟（使用IsaacSim渲染）中对视觉扰动的鲁棒性。具体地，我们在实验室场景中评估了随机光照和相机条件下的行走模式成功率，并比较了四种训练配置：无随机化、仅光照随机化、仅相机随机化和完全随机化。完全设置结合了光照变化和相机变化。
场景标注
我们对每个重建场景进行标注，以支持场景感知的运动合成。由于3DGS表示不提供显式网格或语义标签，我们首先从重建场景中提取点云，并以此作为几何参考进行标注。我们使用viser实现了一个交互式标注工具，允许用户加载重建的3D场景、在3D中检查场景并添加任务相关标注。
对于语义物体标注，我们手动将定向的3D边界框放置在感兴趣的物体周围，并为每个框分配一个语义标签，例如椅子、桌子或盒子。标注界面支持平移、缩放和旋转每个框，使其与场景中相应的物体对齐。这些语义3D框用于为目标物体采样（用于导航任务）并定义任务相关的物体位置（用于交互合成）。
我们还标注了每个场景中的可步行区域。用户在地板平面上指定一组点，工具将这些点连接形成多边形区域。这些区域定义了采样人形机器人初始姿态和导航路点的可行区域。语义物体框和可步行区域共同提供了场景感知运动生成所需的几何和语义结构。
3D场景中的路点和语言生成
我们根据特定任务的规则从标注的3D场景中生成稀疏路点。对于导航任务，我们首先从标注的语义3D边界框中采样一个目标物体。然后，我们从标注的可步行区域中采样人形机器人初始姿态和中间路点。采样的姿态需满足无碰撞且与任务目标兼容。
对于盒子交互任务，我们根据物体状态和支撑表面的高度生成路点和接触时序。对于拾取动作，路点引导人形机器人接近盒子，建立手腕-物体接触，并从地面或支撑表面提起盒子。对于放置动作，路点引导人形机器人将盒子运向目标支撑表面，并在所需位置释放盒子。由于从地面提起、从桌面提起以及放到表面上需要不同的手臂高度和接触阶段，我们根据表面高度设计手腕接触框架和所需相对手腕姿态。这种任务特定的设计有助于合成运动保持真实的接触时序，避免突然的垂直运动，并在提起和放置过程中将机器人手腕与盒子对齐。
最终的路点序列为运动合成模型提供了稀疏的空间引导。这些路点鼓励生成的人形机器人在重建场景中沿着可行路径运动。
生成运动的后期处理
脚滑和不现实的手-物体接触是人体运动合成和人物交互合成中常见的伪影。为了提高生成运动的质量，我们遵循先前工作对下半身进行后期处理。关键思想是利用预测的脚接触标签来识别接触开始和接触阶段。在每个接触阶段，我们通过逆运动学约束相应的机器人脚保持固定在其接触位置。
为了纠正手-物体接触伪影，我们调整了EgoAllo中的优化方法，并引入了一个手腕姿态匹配项，将每个手腕的位置和旋转驱动到物体局部坐标系中的输入手腕姿态。这鼓励了物体交互过程中更现实的双手抓取接触。
渲染中的域随机化
为了提高渲染数据的现实实用性，我们在第一人称渲染过程中应用了域随机化。随机化涵盖相机参数、光照和图像外观。相机随机化扰动相机外参和焦距，以考虑虚拟和物理ZED 2i相机设置之间的小标定差异。光照随机化改变穹顶光照强度和偏航旋转。我们还应用了图像空间的外观增强，包括亮度、对比度、饱和度和色相的扰动，以及高斯噪声和高斯模糊。
VLK训练损失细节
我们从预训练的视觉-语言模型初始化VLK策略，并在生成的视觉-语言-运动学数据集上微调整个模型。我们将预训练模型的动作空间调整为我们G1运动表示。
该策略以带噪声的轨迹、插值系数、当前第一人称观测、任务指令和当前G1运动状态为条件，预测清洁轨迹。主要的轨迹重建损失是预测轨迹与真值关节位置和方向在预测时域上之间的均方误差。
模拟评估指标
虽然RL跟踪控制器在IsaacLab中训练，但我们在MuJoCo中进行模拟到模拟评估。在评估过程中，当VLK策略在每个运动块结束时执行轨迹推理时，模拟器暂停，从而避免了实时块执行的需要。对于每个任务模式，我们保留10%的合成轨迹（每个模式1000条轨迹）用于评估。人形机器人从每个保留轨迹的初始状态初始化，并评估其是否能够成功完成相应的语言条件任务。
对于“走到”任务，如果人形机器人到达指定的目标物体或盒子，在目标0.5米内停止，并且避免与目标几何体碰撞或穿透，则认为展开成功。
对于“转身”任务，成功需要人形机器人朝指示方向执行清晰的转身动作，而不是保持静止或继续向前运动。
对于“拾取”任务，人形机器人必须成功抓取一个放置在地面或物体顶部的盒子，并至少保持稳定握持20帧。
对于“放下”任务，成功定义为机器人到达指定的目标物体，并成功将携带的盒子放置在目标表面或地面。
部署中的运动模糊处理
我们将一部分RGB观测数据增强为合成运动模糊，以提高在实际部署中的鲁棒性，因为运动过程中相机的运动自然会产生运动模糊。
结论
我们提出了一种基于感知的人形机器人定位操作系统，该系统通过重建3D场景中的合成交互进行训练。我们的流程生成兼容Unitree G1的导航和盒子操作轨迹，渲染配对的自我观测，并训练一个VLK策略来预测全身运动轨迹，以供跟踪器执行。在模拟和物理Unitree G1机器人上的实验展示了物体导向的导航和盒子操作，表明场景锚定的合成监督可以支持模拟到现实的人形机器人定位操作。这些结果表明，在重建场景中合成兼容机器人的交互是实现可扩展的感知条件人形机器人控制的有前景的路径。
我们当前的交互合成受限于OMOMO的覆盖范围，它只包含与有限大物体的交互。因此，生成的行为更适合双手运输盒子类物体，而不适合抓取小物体如杯子或工具。同样，接触感知跟踪器通过手腕-物体接触稳定了大物体操作，但未解决精确物体抓取。将VLK扩展到小物体操作需要更丰富的交互数据和专为精确抓取设计的低级控制器。
常见问题
在没有人类演示的情况下如何生成合成训练数据？ 该流程利用三维高斯泼溅进行场景重建、对物体和可步行区域进行语义标注以及基于oracle的运动合成，在仅600 GPU小时内自动生成48,000条配对的视觉-语言-运动学轨迹。
训练后的人形机器人可以执行哪些任务？ VLK策略实现两个基本任务类别：导航（行走至指定位置）和物体运输（在地面或表面上拾取、搬运和放置盒子），已在模拟和物理Unitree G1机器人上进行了测试。
系统如何处理视觉观测的模拟到现实差距？ 第一人称渲染过程中的视觉域随机化扰动相机参数、光照条件和图像外观（亮度、对比度、饱和度、色相、噪声和模糊），以提高策略在真实环境中部署时的鲁棒性。
当前方法有哪些局限性？ 该系统最适合双手运输盒子类物体，不适用于抓取小物体如杯子或工具，这需要更丰富的交互数据和专门的低级控制器进行精确抓取。