论文
使用多尺度小波监督在图像绘制中保持主题清晰度
Preserving Subject-Clarity in Image Outpainting with Multiscale Wavelet Supervision
摘要
商业和广告图像经常受到不良框架、部分裁剪主题、截断文本或徽标以及上下文不足的影响,所有这些都会降低主题清晰度,即图像清晰传达其主要主题的能力。图像修复通过扩展图像边界并恢复丢失的内容和上下文来提供可扩展的解决方案。然而,现有的基于扩散的外画方法通常会产生视觉上合理的完成效果,同时会因结构不一致、语义漂移或细粒度细节的丢失而降低主题保真度。为了解决这一限制,我们提出了一种主题清晰度外画框架,该框架将视觉语言模型(VLM)引导的语义条件与多尺度小波监督相结合,以保留主题局部细节。为了支持训练,我们开发了一个以主题为中心的数据管理管道,该管道从广告和自然图像构建主题交叉的外画对。由此产生的目标不会引入额外的推理成本,并且被设计为与基于扩散的主干兼容。在四个广告和自然图像基准中,我们的方法提高了主题清晰度,与匹配的监督微调相比,以主题为中心的 DreamSim 误差和 FID 平均降低了 3.0% 和 2.4%,比每个数据集最先进的方法分别降低了 10.8% 和 7.7%。