FlowMoDE用预训练语义特征与分层流匹配估计单目深度

单目深度估计是机器人和智能系统中 3D 空间感知的基本功能。虽然数据驱动的判别方法在单目深度估计方面取得了引人注目的性能，但生成方法可以以更强的泛化能力重建精细的结构细节。然而，大多数现有的生成扩散模型因多步采样而导致推理效率低下，而单步扩散模型难以恢复高保真深度图。为了减轻这些缺点，本文提出了 FlowMoDE，这是一种基于从粗到细的流匹配的框架，用于高效、结构感知的单目深度估计，支持仿真到现实和跨场景泛化。核心架构首先根据从预先训练的语义编码器中提取的扩散特征进行粗级解码，然后通过扩展的解码层恢复细粒度的结构模式。我们提出的方法仅在单个合成室内数据集上进行训练，在五个真实的室内和室外数据集上优于先前的方法，与先进方法相比，相对误差平均减少了 14.1%，点云重建的Chamfer距离减少了 9.9%。我们通过与最先进的方法进行定性比较，进一步验证了 FlowMoDE 在现实机器人场景上的泛化能力。项目页面为https://flowmode-shao.netlify.app/