研究人员提出NEO方法，该方法建立一次场景的NeRF表示，然后允许多次对象编辑——移除、插入和重新定位——无需重新训练。这使得机器人只需一次初始扫描即可规划和可视化操作序列，大幅减少动态环境下的数据和计算需求。
目录
研究人员构建了什么
NEO（一次NeRF，多次编辑）是一种场景编辑框架，允许机器人通过单个神经辐射场（NeRF）模型进行多次顺序编辑。无需在每次对象移除或重新定位后重新训练整个网络，NEO根据用户输入（通过语言提示或相对6自由度位姿）局部更新密度和颜色场。编辑后的表示保持与原始相同的结构，因此机器人可以立即将其用于下一步操作。
研究团队还构建了NEO数据集，这是一个基准测试，包含使用固定机械臂在真实对象操作前后注册的桌面场景。它涵盖了对象移除和对象移动场景，并提供了真实几何和位姿。对象来自YCB数据集，确保可重复性。NEO旨在作为多步骤装配任务的实时状态估计器，使机器人能够直接从编辑后的NeRF规划抓取、生成边界框和执行动作，而无需重新扫描工作空间。
关键成果
在NEO数据集的对象移除任务中，NEO在重建被遮挡区域方面显著优于DFF和NeRFiller等先前方法。在对象操作方面，NEO在“外部”区域（对象的原始位置）和“内部”区域（对象的新位置）均实现了高PSNR和SSIM分数，展示了其忠实渲染新暴露表面和重新定位对象的能力。
在四步顺序装配实验中，NEO预测的每个中间场景状态与真实捕获的视觉差异极小。即使对象被多次移动，合成视图在所有步骤中保持了几何一致性。相比之下，DFF需要每次编辑后重新训练并引入伪影，而NEO无需额外训练即可提供稳定结果。该模型还支持直接在编辑后的表示上进行抓取规划，从而在用户确认后实现完全自主的机器人执行。
工作原理
NEO基于标准NeRF，将场景编码为连续体积函数，将3D坐标映射到密度和颜色。关键创新在于一种轻量级编辑机制，仅更新该函数的相关区域。对于对象移除，NEO抑制用户指定的3D边界框内的密度，然后使用预训练的扩散模型以多视图一致的方式修复缺失的颜色。对于对象移动，密度从原始位置转移到目标位姿，并对腾出的区域进行修复。
一个语言场附着在NeRF上，使得能够通过文本提示（例如“红色杯子”）选择对象。该场在每次编辑期间进行优化，以保持与更新后几何对齐。编辑后，表示可直接重用：未改变的部分保持完整，修改后的区域作为局部补丁存储。这允许迭代编辑而无需全局重新训练。
NEO数据集提供真实的RGB-D图像和对象位姿用于基准测试。指标分别针对“内部”和“外部”掩码区域进行计算，从而分离模型在编辑中最具挑战性部分的表现：重建先前未见过的表面（被移除对象下方）以及在新生位置渲染移动后的对象。对于装配实验，仅给出初始场景和目标运动；中间状态由NEO生成并与真实捕获进行比较。
为何对机器人技术意义重大
大多数机器人操作系统依赖于重复扫描来更新对变化工作空间的理解。NEO提供了一种持久、可编辑的3D模型路径，该模型随每次动作而演化，减少了多次重新扫描的需求。这在场景快速变化的装配、拾放和料箱拣选任务中尤为有价值。
通过允许语言提示编辑，NEO弥合了人类指令与机器人动作之间的差距。工人可以说“将蓝色方块移到左角”，机器人可以在执行前可视化结果。这一能力直接适用于仓库机器人和进行复杂桌面任务的人形机器人。NEO支持无需重新训练的连续编辑，使其对计算预算紧张的实际操作非常实用。
局限性与开放问题
NEO假设初始NeRF在具有良好覆盖的静态场景上训练。如果初始扫描遗漏了大面积遮挡区域，后续编辑可能引入伪影。基于扩散的修复步骤虽然有效，但在重复编辑下有时会产生微小不一致，尤其是当同一区域被多次修改时。该方法仅在包含少量对象的桌面场景上得到验证；扩展到杂乱工业料箱或整个房间仍有待测试。此外，基于语言的对象选择对于明显对象效果良好，但对于模糊或部分遮挡的对象可能存在问题。
常见问题
NEO与之前的NeRF编辑方法有何不同？ NEO不需要每次编辑后重新训练——它执行局部更新，保持原始结构，允许从一次初始扫描进行数十次顺序修改。
NEO能处理对象插入，而不仅仅是移除或移动吗？ 可以。相同的密度转移和修复流程支持从对象库插入对象或复制场景内的对象。
运行NEO需要什么硬件？ 单个GPU（例如NVIDIA RTX 3090）足以编辑典型的桌面NeRF。初始训练约需20分钟，每次编辑不到一分钟。
NEO数据集是否公开可用？ 是的，该数据集包含6个场景，提供对象移除和操作前后的真实捕获，以及来自YCB数据集的对象位姿。
结论
NEO通过在单个初始模型上实现无限次顺序编辑，使得NeRF场景编辑对实际机器人技术变得实用。它提供操作结果的准确预测并支持自主执行，闭环了感知与动作。这项工作将可编辑3D场景表示向动态工业环境部署推进了一步。
可编辑NeRF表示能否在高变化率的机器人工作空间中取代传统SLAM？