近日，一支机器人团队发表论文，介绍了一种方法，能够组合来自不同数学空间（如机器人的关节配置和任务工作空间）的对称性，从而使机器人能够从更少的示例中更好地学习。通过在空间之间转移已知的对称性，该方法显著提高了样本效率和泛化能力，并在仿真和真实双机械臂人形平台上得到了验证。
目录
研究人员构建了什么
对称性在机器人学中无处不在——机器人的左臂与右臂镜像对称，旋转操纵杆会产生相同的手腕运动，或者从任意角度拿起杯子本质上是同一技能。从数学上讲，这些对称性存在于不同的“空间”中：机器人的关节配置空间（例如，其手臂的所有可能角度）和任务空间（例如，末端执行器在世界中的位置）。该团队构建了一个形式化框架，组合来自这些不同空间的对称性，使机器人能够重用在一个空间中学习的对称性，以加速在另一个空间中的学习。
他们在一台仿真的平面双臂机器人上进行字母书写测试，然后在真实双臂人形机器人RB-Y1上执行需要双手协调的任务——例如打开盒子并用双手抓取物体。通过将对称性条件直接编码到策略（机器人的决策网络）中，机器人用更少的训练回合就学会了任务，并且对新的位置和方向展现出更好的泛化能力。
关键成果
在仿真字母书写实验中，对称性条件策略仅需50个训练回合即可达到近乎完美的完成率，而基线策略需要超过200个回合才能收敛。对于复杂字母如“R”和“S”，当组合了关节空间和任务空间的对称性后，成功率从约60%提升至95%以上。
在真实的RB-Y1人形机器人上，该方法使机器人仅用每只手臂10次演示就学会了双手开箱任务，而非对称性基线即使在50次演示后也无法可靠完成。当测试未见过的物体位置和方向时，对称性组合策略无需额外训练即可泛化，而基线在超过40%的试验中失败。这些结果证实，在配置空间和任务空间之间转移对称性既高效又对环境变化鲁棒。
工作原理
该方法基于微分几何和群论。机器人的身体和任务具有自然的对称性（例如，左右镜像、绕轴旋转）。每个对称性形成一个数学群，作用于特定空间——配置空间（C空间）或任务空间（T空间）。关键见解在于跨空间组合这些群作用。例如，C空间中的左右对称性并不直接对应T空间中的左右对称性，因为机器人的运动学改变了映射关系。研究人员推导出了一种方法，利用机器人的正向运动学将C空间中的对称性“提升”到T空间，反之，将T空间中的对称性“投影”到C空间。
这些组合后的对称性随后用于条件化强化学习策略。在训练过程中，策略网络被设计为输出与组合对称群等变的动作——即，如果对状态应用对称变换，动作也会相应变换。这是通过一个简单的数据增强步骤实现的，该步骤采样变换后的轨迹，但作者指出，未来的工作可以直接将等变性嵌入神经网络架构中。结果是，策略学习得更快，因为它永远不会浪费容量在那些可以解析获得的对称性上。
在实践中，团队使用了标准的深度Q网络（DQN）并输入了对称性条件。双臂机器人的状态向量包括关节角度和末端执行器位置。对称性组合用于通过将组合群变换应用于每个状态-动作对来生成额外的训练数据，从而有效增大数据集的大小。这种即插即用的方法不需要改变底层RL算法，仅需增加数据增强步骤。
为什么这对机器人学很重要
对于任何在现实世界中部署机器人的人来说——从浏览Robot Overflow上的人形机器人到出售的二手协作机器人——样本效率至关重要。教一个双臂人形机器人开门或组装零件通常需要数百或数千次人类演示，这既昂贵又缓慢。跨空间对称性组合将这一需求降低了一个数量级，使得仅用几个示例就能教授复杂的双手任务成为可能。
此外，该方法与模型无关。它适用于任何标准强化学习或模仿学习算法，这意味着现有已部署的机器人可以通过在训练期间简单添加对称性条件的数据增强来进行升级。该方法也适用于任何具有已知运动学的机器人，而不仅限于人形机器人——它可应用于具有对称抓取臂的仓库机器人或执行重复装配操作的二手工业机器人。通过将像对称性这样的物理先验直接编码到学习过程中，机器人变得更高效，并且能更好地泛化到新配置，这是工业自动化的一个关键瓶颈。
局限性与开放问题
当前实现依赖于数据增强，而非完全的等变神经网络架构，这意味着策略只是弱等变的——它看到了变换后的样本，但对称性并未内化到其内部权重中。这限制了归纳偏置的强度。此外，该方法需要用户为每个机器人和任务手动指定对称群，增加了工程开销。自动从数据中发现对称性将是一个重大进步。
实验集中于单任务学习；跨对称群的多任务迁移尚未探索。最后，该方法假设机器人的运动学完全已知——对于具有柔性关节或未知动力学的机器人，对称性映射可能不准确。
常见问题
什么是“跨空间对称性组合”？ 这是将对称性（如左右镜像）从机器人的关节空间转移到任务空间（或反之）的数学运算，使机器人能够在不同领域重用旋转或镜像知识。
这需要特殊硬件吗？ 不需要——该方法适用于任何标准机器人。团队在RB-Y1双臂人形机器人上进行了验证，唯一的要求是知道机器人的正向运动学以计算对称性映射。
这能将样本效率提高多少？ 在仿真中，对称性条件策略在标准基线四分之一的训练回合内就达到了相同的成功率。在真实机器人上，该方法在基线即使使用五倍演示也无法学习的情况下取得了成功。
我可以将它与现有的RL代码一起使用吗？ 可以——作者将其实现为一个数据增强包装器。你只需获取状态-动作对，应用组合对称变换，并将变换后的样本放入回放缓冲区。无需更改核心RL算法。
结论
跨空间对称性组合提供了一种原则性且实用的方法，将物理知识注入机器人学习，大幅减少了双手和操作任务所需的演示数量。通过弥合配置空间和任务空间对称性之间的鸿沟，该方法使我们更接近能够从人类示例中高效学习的机器人——这是在制造和服务应用中广泛部署的关键要求。
自动对称性发现如何能减轻真实世界机器人部署的工程负担？