Colon3R：单目结肠镜视频的跨域 3D 重建

单眼结肠镜 3D 重建对于手术机器人结肠镜检查很重要，但由于纹理较弱、镜面反射、有限的视图重叠和非刚性组织运动，仍然具有挑战性。传统的多视图 3D 重建方法依赖于稳定的对应关系和近似刚性，这在结肠镜检查中经常被违反。现有的内窥镜方法通常依赖于特定领域的监督，而没有足够的体内标记数据可用于使几何基础模型适应临床结肠镜检查。我们提出了 Colon3R，这是一种基于预训练 VGGT 构建的跨域半监督框架，可将耦合的相机、深度和点图几何形状从标记的体模和模拟数据传输到未标记的体内结肠镜检查，而不需要目标域几何注释。与仅从模型和模拟数据中学习的纯源微调不同，Colon3R 通过教师衍生的跨视图监督直接利用未标记的体内视频。我们提出的分层准刚性可靠性在序列、有向对和像素级别选择可靠的监督，而源保留自适应在目标域自适应期间保留学习的耦合几何形状。大量的实验表明，我们的方法在深度、点图和相机姿态估计方面比最先进的方法具有更优越的整体性能。真实体内结肠镜检查的定性比较进一步显示，与临床领域转移下的竞争方法相比，重建更加完整且几何一致。该代码将在论文被接受后公开。