论文
Poppy:基于偏振的即插即用指南,用于增强单眼法线估计
Poppy: Polarization-based Plug-and-Play Guidance for Enhancing Monocular Normal Estimation
摘要
在大规模 RGB 法线数据上训练的单目表面法线估计器通常在反射、无纹理和暗表面的边缘情况下表现不佳。偏振独立于纹理和反照率对表面方向进行编码,为这些情况提供基于物理的补充。然而,现有的偏振方法需要多视图捕获或专门的训练数据,限制了泛化。我们引入了 Poppy,这是一个 无需训练 框架,它可以在测试时使用单次偏振测量从任何冻结的 RGB 主干中细化法线。 Poppy 保持主干权重冻结,优化输入 RGB 的每像素偏移和输出法线以及学习的反射率分解。可微渲染层将细化的法线转换为偏振预测,并惩罚与观察到的信号的不匹配。在七个基准测试和三个骨干架构(扩散、流动和前馈)中,Poppy 将合成数据的平均角度误差降低了 23-26%,将真实数据的平均角度误差降低了 6-16%。这些结果表明,在测试时用偏振线索指导学习的基于 RGB 的法线估计器可以细化具有挑战性的表面上的法线,而无需重新训练。