Graph-PiT：通过图先验增强基于部分的图像合成中的结构一致性

实现细粒度和结构合理的可控性是高级视觉生成的基石。现有的基于部件的框架将用户提供的部件视为无序集，因此忽略了它们内在的空间和语义关系，这通常会导致组合缺乏结构完整性。为了弥补这一差距，我们提出了 Graph-PiT，这是一个使用先验图显式建模视觉组件的结构依赖关系的框架。具体来说，我们将视觉部分表示为节点，将它们的空间语义关系表示为边缘。我们方法的核心是分层图神经网络（HGNN）模块，该模块在粗粒度零件级超级节点和细粒度 IP+ 词元子节点之间执行双向消息传递，在零件嵌入进入生成管道之前对其进行细化。我们还引入了图拉普拉斯平滑度损失和边缘重建损失，以便相邻部分获得兼容的、关系感知的嵌入。对受控合成域（角色、产品、室内布局和拼图）的定量实验以及对真实网络图像的定性传输表明，Graph-PiT 比普通 PiT 提高了结构一致性，同时保持与原始 IP-Prior 管道的兼容性。消融实验证实，显式关系推理对于执行用户指定的邻接约束至关重要。我们的方法不仅增强了生成概念的合理性，而且还为复杂的多部分图像合成提供了可扩展和可解释的机制。代码可在 https://github.com/wolf-bailang/Graph-PiT 获取。