MythraGen：两阶段检索增强艺术生成框架

文本到图像的生成已经取得了快速的进步，特别是随着生成模型的发展。然而，在实现忠实匹配所提供的文本描述的高质量、上下文准确的图像输出方面仍然存在挑战，尤其是在艺术生成中。在本文中，我们提出了一种简单而高效的检索增强生成框架，即 MythraGen，通过将艺术检索机制与基于 LoRA 的模型 微调 集成来生成文本到艺术图像。我们的方法从大规模艺术数据集中提取特征，通过结合艺术家特定的风格和内容来优化生成过程。特别是，从外部艺术数据库检索到的与查询提示具有最高相似度的图像，用于使用 LoRA 微调稳定扩散，以实现所需的艺术生成。 WikiArt 数据集上的实验结果和用户研究表明，我们提出的方法可以生成与用户输入紧密匹配的艺术品，显着优于现有解决方案。