M2Depth：将单眼深度基础先验与多视图立体统一起来

基于深度学习的多视图立体 (MVS) 取得了显着进步，但通常对未见过的场景的泛化能力较差，特别是在遮挡区域或视图重叠有限的区域。为了缓解这一问题，最近的方法将深度基础模型 (DFM) 集成到 MVS 管道中以提供单目深度先验。然而，现有方法通常依赖于静态、单向融合方案，该方案无法充分利用两种模式的互补优势。我们提出了一种新颖的框架，通过双向相互细化策略将 DFM 与级联 MVS 管道紧密耦合，从而克服了这一限制。我们的方法利用 MVS 深度来解决单目预测中的尺度模糊性，而单目深度反过来又增强了 MVS 估计的结构完整性和细粒度细节。此外，我们引入了一种先验引导的成本体积细化机制，该机制通过基于注意力的融合和离散深度箱有效地集成多视图和单目信息，从而促进局部几何一致性。大量实验表明，我们的方法在标准基准上优于最先进的 MVS 方法，生成更完整、更通用、边界清晰的深度图。此外，尽管没有明确针对稀疏视图设置进行设计，但我们的框架具有非常好的泛化能力，甚至可以与专用的稀疏视图方法进行竞争，同时保持卓越的精度-效率权衡。