从图像中提取神经材料

神经材质可以在紧凑、通用的基础上表示复杂的镜面反射和散射效果。然而，获取和创作此类材料仍然具有挑战性。我们提出了 NeuMatEx，一种可微的逆渲染方法，用于从图像中提取空间变化的神经材料。神经材料潜在空间的非线性结构使得朴素逆渲染的优化变得不可行。为了解决这个问题，我们训练了一个大型材料重建模型（LMRM），它可以直接预测图像的初始基色、神经材料潜伏和任意不确定性指南。该材料先验提供了良好的初始化，并更好地限制了我们使用逆路径追踪的后续优化。预测的不确定性进一步有助于将高置信度区域更紧密地锚定到 LMRM 预测，从而防止光照和复杂的镜面反射效果被烘焙到材料中。对合成资产和真实资产的实验表明，与基于 PBR 的方法相比，NeuMatEx 提取的复杂材料具有更好的视觉质量和材料分解。