论文
EndoVGGT:用于外科 3D 重建的 GNN 增强深度估计
EndoVGGT: GNN-Enhanced Depth Estimation for Surgical 3D Reconstruction
摘要
可变形软组织的精确 3D 重建对于手术机器人感知至关重要。然而,低纹理表面、镜面高光和仪器遮挡通常会破坏几何连续性,这对现有的固定拓扑方法提出了挑战。为了解决这个问题,我们提出了 EndoVGGT,一个以几何为中心的框架,配备了变形感知图注意(DeGAT)模块。 DeGAT 不是使用静态空间邻域,而是动态构建特征空间语义图来捕获相干组织区域之间的远程相关性。这使得结构线索能够在遮挡之间稳健传播,增强全局一致性并改善非刚性变形恢复。 SCARED 上的大量实验表明,我们的方法显着提高了保真度,与之前最先进的技术相比,PSNR 提高了 24.6%,SSIM 提高了 9.1%。至关重要的是,EndoVGGT 对看不见的 SCARED 和 EndoNeRF 域表现出强大的零样本跨数据集泛化能力,证实 DeGAT 能够学习与域无关的几何先验。这些结果凸显了动态特征空间建模对于一致的手术 3D 重建的功效。