论文

SCOPE-4D:内镜4D几何基础模型

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

应用与实践视觉感知与空间理解

摘要

几何理解支撑内镜导航与机器人辅助,但学习可靠的内镜几何面临两大挑战:几何标注稀缺与相机运动/组织形变歧义。我们提出SCOPE-4D,一个内镜4D几何基础模型,从单目RGB视频单次前向联合预测相机参数、稠密几何与3D组织轨迹。我们的策划与标注管道构建了SCOPE-5K:约5000段真实与合成胃肠镜及腹腔镜剪辑,提供丰富几何监督,并含新采集的体模与真实肠镜评估集。在SCOPE-5K上的几何监督微调学习内镜先验以改善相机与深度估计;公共-残差运动(CRM)相对共同组织运动约束局部形变;结合几何监督,CRM与轨迹监督进一步改善相机与深度估计并实现稠密3D组织跟踪。在公开与自建基准上的评估展示强大的域内与域外几何、更优的3D跟踪以及更稳定的长序列结肠重建;盲法用户研究支持真实临床视频的感知重建质量。结果证明大规模内镜监督与运动约束对几何估计与组织跟踪联合任务的价值。