论文

以诗复兴古画:协调文化语义的着色框架

Reviving Ancient Paintings via Poem: A Colorization Framework for Aligning Cultural Semantics

应用与实践内容创作

摘要

古画的不可逆转的褪色破坏了“诗画相合”这一视觉意象与文题和谐的美学核心原则。尽管扩散模型提供了强大的生成先验,但恢复历史上忠实的颜色仍然很困难:视觉恢复本质上是模糊的,而直接文本引导通常会导致现代语义偏差、过度饱和和跨界颜色泄漏。为了解决这个问题,我们提出了 PoemColor,一个以诗歌为导向的古画着色框架。我们的方法通过两个关键设计将诗意文化语义与绘画修复结合起来。首先,诗意绘画投影仪(P3)通过诗歌到调色板的预训练将隐含的诗意语境转换为经典的颜色感知条件,减少诗歌到颜色映射的模糊性。其次,结构感知语义注意力(SASA)通过共同控制传播方向和区域注入强度来调节诗意颜色语义如何注入扩散主干。此外,我们构建了一个混合恢复数据集,将合成退化与专家恢复的文物相结合,提供可扩展的监督和真正的经典颜色参考。大量的实验表明,我们的框架显着优于最先进的方法,提供可控的着色,恢复历史真实性和诗意语义。