一个研究团队发布了Deform360，这是迄今为止为可变形物体操作构建的最大真实世界视觉触觉数据集。该数据集包含198个日常物品——从绳索、织物到毛绒玩具——由41台同步相机和两个配备触觉传感器的夹爪捕获，涵盖1980个交互序列，总计2330万帧。这一庞大资源为机器人专家提供了高保真度的真实数据，用于训练世界模型，以预测柔软、可挤压和柔性物体在操作下的行为。
目录
研究团队构建了什么
Deform360是一个精心整理的1980次物理交互数据集，涉及198个不同的可变形物体，在受控的多相机工作室中记录。每次交互序列均由一个配备触觉压力传感器的两指平行夹爪（UMI夹爪）执行一系列预定动作——按压、挤压、扭转、拉动、拖动——同时41台校准相机从所有角度捕获场景。
物体分类涵盖三类可变形性：
- 一维可变形物体（28个物体）：绳索、电缆、电线、皮带和链条，刚度各异。
- 二维可变形物体（98个物体）：织物、布料、衣物、袋子、纸类材料和薄壳。
- 三维体积可变形物体（72个物体）：毛绒玩具、填充动物、泡沫物体、海绵和可挤压的家居用品。
对于每个片段，研究人员提供了基于无标记多视角感知管道的高质量3D重建和粒子跟踪。触觉数据捕获夹爪手指的法向压力，直接读取每次操作中的接触力。这种密集的传感器融合使Deform360成为研究物体在真实世界力作用下如何变形（不仅是视觉上，还包括物理上）的独特资源。
关键结果
Deform360在规模上比现有真实世界可变形物体基准数据集提升了一个数量级。拥有2330万帧、总计215.7小时的视频数据，远超以往通常只包含少于20个物体、或在合成或单视角设置中的数据集。
研究人员在该数据集上系统评估了两类世界模型：
- 视频世界模型（Cosmos Predict 2.5，一种扩散变换器），在Deform360上通过交叉注意力机制进行7D动作条件微调。
- 3D粒子动力学模型，直接在基于粒子的物体表示上学习物理规律。
关键发现：
| 模型类型 | 优势 | 劣势 |
|---|---|---|
| 视频世界模型（Cosmos） | 捕获视觉外观和纹理变化；利用大规模预训练 | 对分布外环境敏感；规划中奖励设计困难 |
| 3D粒子动力学 | 精确的几何预测；易于使用几何代价函数（如Chamfer距离） | 仅限于几何状态；缺少视觉外观；需要密集跟踪数据 |
评估揭示了一个基本权衡：视频模型擅长视觉新颖性，但在精确几何方面挣扎；而粒子模型提供更好的结构先验，但缺乏视觉丰富性。值得注意的是，3D粒子模型成功用于可变形物体的真实世界模型预测控制（MPC），而视频模型则需要进一步的后训练以处理视觉域偏移。
工作原理
Deform360捕获系统由41台工业相机组成，排列成一个半球形穹顶，围绕操作工作空间。所有相机均经过校准并同步以30 fps录制。UMI夹爪在其手指上安装了两个触觉传感器（类似GelSight），每个指尖提供16×16的压力图。
物体操作流程：
- 每个物体放置在哑光黑色桌子上的固定起始姿势。
- 夹爪执行一系列5-10个预定动作（按压、拖动、扭转、捏合、推动），每个片段持续约30秒。
- 所有41个相机馈送、触觉数据和机器人关节角度同步记录。
- 多视角3D重建管道（基于NeRF和粒子跟踪）为每帧生成密集点云和粒子轨迹。
世界模型训练：
- 视频模型：Cosmos Predict 2.5架构是一种扩散变换器（DiT），基于过去帧和未来机器人动作生成未来帧。7D动作向量（6D腕部姿态+夹爪开度）通过交叉注意力注入DiT块。在Deform360上的后训练使模型适应特定的视觉域和动作空间。
- 粒子模型：每个物体表示为一组3D粒子（通常1,000-10,000个）。图神经网络或神经常微分方程根据当前状态和施加的力预测粒子运动。训练使用来自重建管道的真实粒子轨迹。
这对机器人技术的重要性
仓库、工厂和家中的机器人每天都需要处理可变形物体：折叠衣物、包装农产品、组装电缆或处理软包装。然而，大多数机器人系统依赖刚体假设，这在可变形材料上会失效。Deform360填补了一个关键空白，提供了高保真度、多模态数据，用于训练世界模型，使其能够真正预测绳索、织物和毛绒玩具的行为。
对于购买二手协作机器人或仓库机器人的公司而言，可变形物体操作的进步意味着在诸如料箱拣选、配套和分拣等任务中减少失败。在人形机器人领域，操作软物体的能力对于穿衣辅助或物体交接等任务至关重要。在Robot Overflow上浏览人形机器人过滤器中显示了数十个可能受益于这些进展的平台。
初步的真实世界MPC演示——其中3D粒子模型规划夹爪动作以将绳索变形为目标形状——证明这些世界模型可以部署在实际硬件上，而不仅仅是在仿真中。
局限性与未解问题
严重的自遮挡仍然是一个挑战：当物体大部分被遮挡在大多数相机视野之外时（例如，绳索盘绕在夹爪下），跟踪质量下降。触觉传感器仅测量法向压力，因此微滑移和切向力不可见，且无滑移正则化可能过度约束接触点附近的粒子。该数据集仅限于两指夹爪交互，因此需要吸盘或多指抓取的行为未包括在内。
视频世界模型也面临部署障碍：捕获工作室与真实机器人环境之间的域偏移需要大量的后训练，并且在原始视频帧上设计奖励函数比在几何状态表示上困难得多。
常见问题解答
Deform360包含哪些类型的物体？ 数据集涵盖198个物体，分为三类：一维可变形物体（绳索、电缆、电线）、二维可变形物体（织物、布料、袋子）和三维体积可变形物体（毛绒玩具、泡沫物体、可挤压物品）。
Deform360数据集有多大？ 它包含1980个交互序列，总计2330万帧和215.7小时的同步多视角视频和触觉数据——比以往任何真实世界可变形物体数据集大一个数量级。
捕获数据使用了哪些传感器？ 41台校准同步相机从所有角度捕获视觉数据，而机器人夹爪上的两个触觉传感器以16×16的分辨率测量法向压力。
该数据集解决的主要挑战是什么？ Deform360解决了可变形物体建模中高保真度真实世界数据稀缺的问题，使得对2D视频世界模型与3D粒子动力学模型进行系统评估成为可能，并为未来研究提供了基准。
结论
Deform360通过结合前所未有的规模、多视角视觉覆盖和触觉传感，为可变形物体数据集设立了新标准。附带的基准测试揭示了基于视频和基于粒子的世界模型之间的明确权衡，为机器人社区提供了根据任务要求选择方法的具体指导。这一资源将加速使机器人能够可靠处理构成我们物理世界大部分的柔软、可挤压和柔性物体的进展。
我们如何最好地结合视频模型的视觉丰富性和粒子动力学的几何准确性，以实现真实世界的机器人控制？