BFS：通过知识迁移进行从后到前的分层图像合成

随着生成模型扩展了视觉内容创建的可能性，分层图像合成已成为可控和创意编辑的一个有前途的方向。然而，现有的方法很难充分发挥这种潜力。基于分解的方法通常很难实现干净的分离，而基于生成的方法则难以训练数据采集，从而降低了质量和场景多样性。在本文中，我们提出了 BFS，一种新颖的基于生成的分层图像合成框架。具体来说，在给定背景图像和用户指导的情况下，BFS 会合成一个前景层，该前景层不仅包含前景对象，还包含其相关的视觉效果（例如阴影和反射），同时与背景无缝协调以产生连贯的合成效果。为了实现多样化和高质量的前景层合成，同时克服数据稀缺性，我们利用相对容易学习的非分层图像合成知识进行前景合成。为此，我们采用双分支扩散框架，其中两个互连的分支分别生成合成图像和前景层，从而实现双向知识转移。基于该框架，我们提出了一种两阶段训练方案，利用高质量的非分层合成图像数据集来有效增强前景质量。包括用户研究在内的大量实验表明，BFS 可以生成高质量的分层图像，始终优于先前的方法。