GeoStereo：视差和表面法线的统一立体几何估计框架

立体匹配和表面法线估计是 3D 视觉中的基本任务。然而，现有的前馈立体方法仍然难以在具有挑战性的区域中产生可靠的预测，这主要是由于缺乏强大的几何先验。在本文中，我们提出了$\textbf{GeoStereo}$，一个统一的立体几何估计框架，利用强大的扩散先验来联合预测视差和表面法线。具体来说，GeoStereo 将前馈立体匹配管道与基于扩散的法线估计分支结合起来。为了实现两个任务之间的有效交互，我们引入了正常初始化策略的差异，并为扩散过程构造了向左视图条件的扭曲。这种耦合设计允许扩散分支提供强大的结构先验，增强不适定区域的视差估计，而前馈分支为准确的法线预测提供可靠的几何指导。大量实验表明，GeoStereo 在具有挑战性的场景中表现可靠，包括弱光环境、高反射表面和透明物体。在零样本设置下，它在多个基准（包括 KITTI 和 NYUv2）上实现了 Rank-1 视差估计，并在许多真实室内基准（例如 iBims-1 和 ScanNet）上提供了最佳的法线估计精度。项目页面：https://qz-wei.github.io/GeoStereo.github.io/