MV-dVRK：空间手术感知的多视点基准

大规模训练和精细化优化技术极大地提高了稀疏多视图3D重建能力。尽管它们与手术相关，但此类方法以前从未在真实的内窥镜图像上进行过严格评估。目前的临床远程机器人在患者体内部署一个立体摄像头，使得多视点数据极其罕见。本文介绍了 MV-dVRK，这是第一个将多个曝光同步立体视点与精确的表面几何形状和相机姿态相结合的离体手术数据集。基准测试的静态子集提供了密集的 SfM 参考几何体，并针对工业 3D 扫描仪以及 真值 相机姿势和稀疏视图测试集进行了验证。随着视点数量的增加，我们使用 MV-dVRK 系统地比较了零样本单目、立体、多立体和多视图 3D 重建方法。使用两个内窥镜，多立体重建实现了最高的覆盖范围。使用第三视点时，基于优化的多视图方法表现最佳，在 1 毫米公差范围内覆盖了 67% 的 真值 表面点，并恢复了高精度的相对相机位姿。相比之下，在相同设置下，前馈基础模型仅覆盖 真值 表面的 43%。 MV-dVRK 还包括十个跨越多个手术任务的动态序列，随着运动学复杂性和组织变形的增加，为未来多视点手术感知的研究提供了基础。该项目位于：https://mv-dvrk.is.mpg.de。