RAPID 概览
程序表示
RAPID 引入了一种以物体为中心的关系程序表示，使智能体构建的策略能够跨越不同场景实现泛化。RAPID 将每个基元表示为一个具备几何与物理感知能力的局部轨迹优化程序，以实现物体层面的效果。
随后，策略通过关系约束组合这些基元，从而规定每个基元所需实现的效果。
策略部署
在部署阶段，给定新场景的 RGB-D 观测和一条语言指令，RAPID 会在仿真中重建该场景，在重建场景中实例化策略，并在机器人上执行由此生成的轨迹。
轻量级语义绑定会将场景中的物体分配给策略中的语义角色，而策略及其基元本身保持不变。
以物体为中心的关系程序
RAPID 定义了一种以物体为中心的关系程序表示，由基元、将基元组合成任务级策略，以及在新场景中实例化策略组成。
在新场景中实例化策略
在这一过程中，策略程序和所引用的基元始终保持冻结状态。
策略程序保持固定不变，而其中的基元则会适应新场景。
因此，泛化源于以物体为中心的关系程序表示，以及针对新场景几何和物理属性进行的轨迹优化适配。
重建交互式环境
可行的场景变体
为了构建示范场景的变体，RAPID 使用与任务无关的变体采样器，对物体外观、尺寸、位姿以及质量、摩擦和弹性等物理参数进行随机化。
然而，随机采样的场景对于某个基元或策略而言可能并不可行。因此，RAPID 要求编码智能体为每个基元或策略编写一个过滤器，仅接受那些能够保留已声明角色与关系、任务含义和物理可行性的变体。
非抓取操作的真实世界实验
结果
借助以物体为中心的关系程序表示和柔顺操作空间控制器，在仿真中优化的接触丰富型非抓取行为可以直接迁移到真实机器人并有效执行。
相比之下，CaP-Agent0 难以利用程序化程序生成可靠轨迹。
此外，利用视觉语言模型的先验知识估计质量、摩擦和恢复系数等物理参数，再结合 SAM 3D 强大的三维重建能力，有助于将真实到仿真以及仿真到真实的差距控制在可管理范围内。
结论
RAPID 是一个面向机器人操作的框架，通过单次人类提供的视觉示范和语言描述，闭合机器人操作的智能体编码闭环。
通过自动推导任务规范、操作基元和交互式验证环境，RAPID 使编码智能体能够构建、执行并迭代优化可复用的操作策略。
其以物体为中心的关系程序表示将操作基元表示为轨迹优化程序，并通过关系约束将其组合起来，从而实现向新场景的泛化。
在八项接触丰富型非抓取操作任务上的实验表明，该方法能够跨越物体和场景变化实现强泛化；在 LIBERO-Pro 和真实机器人系统上的评估则支持 RAPID 更广泛的适用性和实际部署能力。
未来，RAPID 将纳入其他用于学习基元的工具，例如用于灵巧手操作的强化学习。此外，RAPID 将自动受益于编码智能体、机器人基础模型和仿真引擎（包括面向可变形物体的仿真引擎）的持续进步，并实现规模扩展。
常见问题
RAPID 是什么？ RAPID 是一个机器人操作框架，利用编码智能体从人类视觉示范和语言描述中构建、执行并优化可复用策略。
RAPID 如何将操作策略泛化到新场景？ 它使用以物体为中心的关系程序、轻量级语义绑定，以及适应新场景几何和物理属性的轨迹优化。
RAPID 能够估计哪些物理参数？ RAPID 可以利用视觉语言模型的先验知识估计质量、摩擦和恢复系数等参数。
评估了多少项操作任务？ 实验评估了八项接触丰富型非抓取操作任务，同时还在 LIBERO-Pro 和真实机器人系统上进行了测试。