论文
LiWi:野外分层
LiWi: Layering in the Wild
摘要
生成模型的最新进展使得令人印象深刻的分层图像生成成为可能,但它们的成功很大程度上局限于图形设计领域。野外图像的分层仍然是一个尚未充分研究的问题,限制了图像在现实场景中的细粒度编辑和应用。具体来说,可扩展的分层数据和自然图像中对象交互的建模仍然存在挑战,例如照明效果和结构边界。为了解决这些瓶颈,我们提出了一种用于高保真自然图像分解的新颖框架。首先,我们引入了代理驱动的数据分解(ADD)管道,该管道可以协调代理和工具来合成分层数据,而无需人工干预。利用这个管道,我们构建了一个名为 LiWi-100k 的大规模数据集,其中包含超过 100,000 张高质量的分层野外图像。其次,我们提出了一种新颖的框架,可以共同提高光度保真度和 alpha 边界精度。具体来说,阴影引导学习明确地模拟了照明效果,而退化恢复目标通过从退化图像中恢复干净的前景图像来提供边界校正监督。大量实验表明,我们的框架在自然图像分解方面实现了最先进的 (SoTA) 性能,在 RGB L1 和 Alpha IoU 指标方面优于现有模型。我们将很快发布我们的代码和数据集。