三台同步立体内窥镜让手术机器人能够更清晰地感知组织的三维结构，但最佳重建方法取决于可用视角的数量。MV-dVRK 基准将真实机器人手术场景与经过验证的表面几何和相机位姿配对，结果表明：使用两台内窥镜时，立体视觉占优；增加第三个视角后，经过几何优化的多视图系统则表现更佳。
目录
研究人员构建了什么？
MV-dVRK 在达芬奇研究套件（da Vinci Research Kit，简称 dVRK）上增加了第二台立体内窥镜，并由一只独立的机械臂操控。随后，基准系统又在固定支架上增设了第三台立体内窥镜。三个视角都会同步采集成对图像，因此研究人员在每个时刻最多可以获得同一手术场景的六张图像。
研究团队在新鲜切取的两头成年猪腹部器官上开展模拟手术并采集数据。两名经验丰富的普通外科医生完成了具有代表性的操作，包括胆囊切除、管状组织分离和小肠吻合。录制内容既包括用于构建精细几何参考的静态场景，也包括涉及相机运动、手术器械和组织形变的动态序列。
静态部分包含 8 个场景和 80 个同步测试样本。每个测试样本都包含三组立体图像对，并通过改变相机位置、视图重叠范围、光照、机器人构型和器械位置来制造差异。对于每个静态场景，研究人员精心选取了 105 张图像，用于生成稠密参考重建。
这份参考数据将组织表面和每台相机的位姿统一到同一个坐标系中。研究人员还使用工业级 3D 扫描仪对重建几何进行了独立检查，从而提供了实际验证，而不是只依赖计算机视觉估计结果。
关键结果是什么？
该基准清晰展现了立体重建与多视图重建之间的权衡。在只有两台内窥镜时，经过标定的立体视觉在共享参考视图中的几何精度高于所有测试过的多视图方法。与单目重建相比，即使单目系统处理的是移动相机拍摄的长序列，立体视觉覆盖的组织面积仍然大得多。
加入第三个视角后，结果发生了变化。经过几何优化的多视图方法会联合优化相机位姿和三维结构，使共享视图中的平均重建误差降低 1.9 毫米，相对提升 54%。在使用全部六张同步图像时，这些方法在 1 毫米误差范围内实现了 66–67% 的覆盖率，而前馈模型只有 28–44%。
| 对比 | 基准结果 | 实际意义 |
|---|---|---|
| 立体重建与双帧单目重建 | 覆盖率优势为 27 个百分点；8 个场景的 95% 置信区间为 20–34 个百分点 | 一组立体图像对即可立即捕获更多可用表面 |
| 立体重建与 50 帧单目重建 | 覆盖率优势为 15 个百分点；8 个场景中有 6 个的置信区间为 5.8–25 个百分点 | 随时间产生的相机运动无法完全替代同步立体视觉 |
| 第三个视角对几何优化多视图方法的影响 | 平均误差降低 1.9 毫米，相对提升 54% | 额外的跨视图信息提高了共享视图中的精度 |
| 六个同步视图与前馈模型 | 1 毫米误差内的覆盖率为 66–67%，前馈模型为 28–44% | 在视角足够多时，显式几何优化更具优势 |
这些结果并不意味着摄像机越多，每项指标都会始终变好。第二台内窥镜带来的提升更加不稳定，因为不同场景中的组织重叠程度和相机几何关系并不相同。
该基准如何工作？
该基准在相同的同步输入条件下测试多种重建策略。单目方法（如 Endo3R）从一台内窥镜拍摄的两帧或 50 帧图像中估计三维结构。立体方法（如 FoundationStereo）利用一台内窥镜经过标定的左右相机，通过匹配图像特征来推断深度。
多立体设置会分别对每台内窥镜进行立体重建，然后利用视觉对应关系以及刚性或可调整尺度的变换对所得点云进行对齐。这种方法能够融合多组立体重建结果，但不会同时联合优化所有图像和所有场景点。
相比之下，多视图方法会在统一的几何框架中处理来自多台内窥镜的图像。经过几何优化的系统先使用初始重建结果，再同时优化相机位姿和场景结构。当第三台内窥镜提供额外的跨视图匹配、并减少大相机基线或有限视图重叠所造成的歧义时，这种优化会更加有效。
在评分前，所有预测结果都会配准到参考重建上。配准使用一种称为 Sim(3) 的鲁棒相似变换，可以校正旋转、平移和全局尺度。这样的设计能够评估形状和相对相机几何关系，而不会仅仅因为某种方法估计出了不同的绝对尺度就对其进行惩罚。
三个指标分别衡量性能的不同方面：
- 真实值覆盖率：参考表面点中，预测点距离不超过 1 毫米的比例。同时也报告 5 毫米阈值下的结果。
- 平均三维误差：在共享的 E1L 相机视图中，预测点与和同一像素对应的参考点之间的距离。
- 相对位姿误差：相机之间估计变换的准确度，其中平移误差以毫米计，旋转误差以度计。
E1L 相机被选作共同比较区域，因为它拥有最完整的参考表面，并且在测试的各种输入配置中都可见。
这对机器人技术为何重要？
机器人手术面临着极其困难的感知环境。内窥镜必须通过狭窄的入口进入体内，器械和解剖组织经常相互遮挡，而体内能够放置的摄像机数量又很有限。最终形成的是一个稀疏视图问题：摄像机之间的基线较大，但它们拍摄的图像可能只有有限的重叠区域。
MV-dVRK 表明，摄像机数量和算法选择应当协同设计。只有两台内窥镜时，经过标定的立体视觉流程更有优势，因为它能从紧密配对的两台相机中可靠提取深度。第三个视角则提供了足够的共享证据，使联合多视图优化能够超越分别配准的立体重建。
这一发现可能推动未来手术机器人采用模块化感知系统，而不是依赖一种通用的重建算法。平台可以使用快速立体视觉来满足低延迟控制需求；当有额外的同步视图且计算资源允许时，再调用几何优化模块。
这一启示也适用于医疗之外的领域。评估更广泛的二手工业机器人市场时，团队可以把协同摄像机、标定和机器人运动视为一个统一的感知系统，而不是彼此独立的硬件选择。在任何多机械臂工作空间中，覆盖范围的提升都取决于传感器的布置方式，以及如何融合它们的观测结果。
有哪些局限和待解问题？
最可靠的真实值结果来自静态组织，因为组织发生形变时很难获取稠密参考几何。动态 MV-dVRK 序列包含相机运动和解剖结构变化，但没有相同级别的稠密表面真实值。
静态基准覆盖了来自两只猪的 8 个场景和 3 类手术操作。这足以支持受控比较，但如果换成其他解剖结构、手术流程、光照条件或活体环境，性能差异可能会发生变化。参考表面是通过重建得到的，而不是直接测量的，不过工业扫描仪对其几何形状进行了独立验证。
相机位姿同样来自稠密的运动恢复结构重建；如果不引入额外的标定偏差，就无法对其进行完全外部的检查。要实现实际部署，仍需更快的稠密匹配、更低延迟的优化，以及能够纳入已知立体支架几何、机器人运动学和组织形变的算法。
常见问题
MV-dVRK 是什么？
MV-dVRK 是一个围绕三台同步立体内窥镜构建的机器人手术数据集和基准，用于评估真实离体手术场景中的稀疏视图三维重建。
为什么对某些方法来说，三台内窥镜比两台更好？
第三个视角能够提供额外的跨视图匹配，帮助联合优化方法细化相机位姿和组织几何。只有两台内窥镜时，经过标定的立体视觉在共享参考视图中的精度仍然更高。
MV-dVRK 是否测量了移动组织上的性能？
数据集包含相机运动和组织形变的动态序列，但稠密参考几何仅适用于静态场景。因此，动态数据主要支持未来的感知研究，不能进行同样详细的几何评分。
今天的手术机器人应该使用立体重建还是多视图重建？
当只有两台内窥镜时，该基准更支持经过标定的立体视觉；当三个同步视角能够提供足够重叠时，则更支持经过几何优化的多视图重建。延迟、相机布置、标定质量以及可见组织的数量，仍然是系统层面的重要因素。
结论
MV-dVRK 建立了一个贴近现实的测试平台，用于衡量随着同步视角增加，手术三维感知会发生怎样的变化。结果显示出一个实际的转折点：在视角最稀疏的设置下，立体视觉最强；增加第三台内窥镜后，联合优化的多视图重建则能获得更高的精度和更完整的覆盖。
未来的手术机器人在实际应用中应该使用多少个同步视角？