基于扩散的材质正则化，用于基于物理的逆渲染

从多视图图像重建基于物理的 3D 资源（几何、材质和照明）是计算机图形和视觉的核心问题，也是逼真的重新照明和编辑的先决条件。基于物理的逆渲染提供了准确的图像形成模型，但受到严重限制：如果没有强大的先验，照明就会融入材质中，并且重建很难推广到新颖的视图和照明。相比之下，数据驱动的扩散模型可以预测视觉上合理的材料，但它们的预测很少满足渲染方程，并且不能直接用于基于物理的渲染。我们架起这两种范式的桥梁，而不是取代其中任何一个。我们的关键思想是将最先进的扩散模型的预测视为优化的相似性内核，而不是目标材料值：我们引入了正则化损失，它可以惩罚优化材料在扩散预测接近恒定的表面区域上的偏差，同时让优化自由地匹配输入图像。建立在这个正则化器的基础上，我们的端到端管道联合重建几何体、材质和照明，产生高质量的资产，这些资产可以放入标准渲染管道并忠实地重新照明。在 Synthetic4Relight、Stanford-ORB 和 DTC-Synthetic 数据集上，我们的方法在重建精度和重新照明质量方面都显着优于最先进的基线。