我们提出了一种分层强化学习框架，使四足机器人能够用脚操控物体——这种能力被称为足部操控。通过将可操作性作为中层表征，识别与物体交互的位置和方式，我们的方法减少了昂贵的全身运动规划需求，同时提高了跨不同物体和地形的泛化能力。
引言
腿式机器人传统上专注于运动，而将操作任务留给固定基座的机械臂。足部操控——用脚操作物体——为四足机器人提供了一种与周围环境互动而不牺牲移动性的自然方式。然而，现有方法需要对机器人-物体动力学进行精确建模，并且通常难以从仿真迁移到现实世界。
基于可操作性的方法
我们引入了一种分层强化学习架构，该架构在两个层次上运行。高层策略选择执行哪种可操作性——例如向左推、向右推或拉——而低层策略则学习该交互的具体脚部轨迹。可操作性被定义为物体表面上支持特定动作的区域，通过一个在交互数据上训练的深度神经网络进行识别。
学习框架
高层策略接收机器人状态和物体位姿，输出一个分类动作，对应五种交互模式之一：空闲、向左推、向右推、向左拉或向右拉。低层策略随后生成关节级电机指令以执行该模式。这种双层结构允许系统在不同物体和环境条件下重用已学会的低层技能。
仿真结果
我们在仿真中评估了我们的方法，涉及多种物体类型（盒子、圆柱体和不规则形状）及表面摩擦条件。基于可操作性的方法达到了87%的任务成功率，而使用固定交互点的基线方法仅为62%，同时收敛所需的训练步骤减少了40%。
现实迁移
为了验证仿真到现实的迁移，我们在Unitree Go1四足机器人上部署了学到的策略。机器人成功推动了重量达1.5千克的物体，跨越包括地毯、瓷砖和混凝土在内的多种地面。我们观察到仿真到现实的成功率为73%，大多数失败归因于未建模的摩擦动力学和地面不平整。
与其他方法的比较
我们的分层方法优于两个基线：一个非分层强化学习方法，该方法难以发现有效的操作策略；另一个基于模型的控制器，需要精确的物体跟踪，并在遮挡情况下失败。基于可操作性的方法即使在物体位姿估计受到高达5厘米噪声干扰时仍保持稳健性能。
实验
由于现有的足部操控研究未公开，我们在多种条件下对我们的方法进行基准测试以评估其有效性。我们首先比较了不同交互方向上每次物理交互所实现的位移，并在仿真中展示了选择障碍物表面合适接触点的优势。然后我们将评估扩展到真实实验，以评估仿真到现实的迁移性能以及完整管道在非理想操作条件下的有效性。
结论
未来工作，我们计划利用收集的交互数据来学习以物体为中心的表征，以改进下游操作和物体就地利用。
常见问题
基于可操作性的方法与标准强化学习足部操控有何不同？ 我们的方法不是学习单一的整体策略，而是使用分层结构，其中高层策略选择交互模式，低层策略执行脚部轨迹，使学习更快且跨物体更具迁移性。
机器人可以操作哪些类型的物体？ 该系统在盒子、圆柱体和不规则形状物体上进行了测试，重量达1.5千克，跨越包括地毯、瓷砖和混凝土在内的多种地面。
该方法从仿真到现实世界的迁移效果如何？ 我们实现了73%的仿真到现实成功率，大多数失败由未建模的摩擦动力学和地面不平整引起，而非基本策略错误。
为什么使用可操作性而不是预先计算的交互点？ 可操作性使机器人能够动态选择物体表面的最佳接触点，实现了87%的任务成功率，而固定交互点仅为62%，同时使用更少的训练步骤。