FreeShadow：无需训练 通过照明传输和扩散模型中的选择性内容保留来去除阴影

由于可用训练数据集的多样性不足，现有的监督和无监督阴影去除方法通常受到泛化能力的限制，而零样本方法往往会产生伪影并需要耗时的测试时间优化。为了解决这些问题，我们提出了 FreeShadow，一种基于预训练扩散模型构建的 无需训练 阴影去除方法，该方法利用扩散先验来去除阴影，无需任何训练或优化。对于照明恢复，我们提出了照明转移注意力（ITA），它重新加权扩散模型中的自注意力图，以将照明线索从非阴影区域转移到阴影区域。对于内容保留，我们分析了光照变化对自注意力图和扩散模型中潜在高频特征的影响，并选择性地保留光照不变分量以保持内容保真度，同时抑制残留阴影。我们进一步提出局部纹理保留重新光照（LTPR）来减轻 VAE 压缩引起的局部纹理错位。大量的实验表明，我们的方法具有很强的泛化性并产生逼真的无阴影图像。