IntrinSync：联合本征分解和倒数渲染

逆向渲染将图像分解为内在属性，例如外观、照明、几何形状和材质，但这些属性本质上是相互依赖的。可靠的分解应该产生内在图，这些内在图不仅单独合理，而且在解释图像时相互兼容。然而，现有的方法要么孤立地模拟内在通道，要么将逆向和正向渲染视为单独的过程，从而导致相互依赖性未被充分利用。在本文中，我们介绍了 IntrinSync，这是一个统一的框架，它通过联合通道建模和相互逆向渲染来捕获这种相互依赖性。在通道级别，我们通过 1 对 N 映射将输入 RGB 联合分解为反照率、阴影、表面法线、粗糙度和金属贴图，从而实现整个生成过程中跨通道的信息交换。在流程层面，我们通过双循环一致的目标建立逆向互易性，该目标在闭环上对齐相应的预测。对三个数据集的实验表明 我们的方法实现了有竞争力的内在估计和前向渲染性能，提高了相干性和物理一致性。除了分解之外，IntrinSync 还为图像编辑提供了物理基础接口，允许显式操作内在属性并将其渲染回 RGB 图像。