MoGe-3：具有自引导稀疏体积细化的精细细节单目几何估计

单目几何估计最近在不同场景中取得了令人印象深刻的性能。然而，最先进的模型仍然面临局部 3D 结构的显着失真，特别是在精细细节方面，例如薄结构和小物体。我们将此限制归因于架构不匹配：大多数当前模型在 2D 参数化中解码 3D 几何，其中特征交互由图像平面邻近度而不是真正的 3D 空间关系控制。这无意中混合了几何上距离较远的表面的特征，导致几何形状过度平滑，特别是在薄或细长结构周围。在本文中，我们提出了 MoGe-3，这是一种具有自引导稀疏 3D 细化 (SSR) 的精细单目几何估计模型，可将单目几何建模从 2D 图像空间提升到 3D 空间，以获得高保真度度量尺度点图。 MoGe-3 将粗点图从基础模型提升到稀疏体素壳上，并通过 SSR 对其进行细化。 SSR 采用稀疏卷积，根据 3D 空间局部性聚合特征，避免跨深度不连续性的特征混合。对不同数据集的大量实验表明，MoGe-3 在定量指标和定性可视化方面恢复精细 3D 几何形状方面显着优于现有方法。项目页面：https://qft-333.github.io/moge3page/