论文

EPIG:面向个性化图像生成的情感提示

EPIG: Emotion-Based Prompting for Personalised Image Generation

上下文与知识上下文工程

摘要

文本到图像的扩散模型在根据自然语言提示合成高质量图像方面取得了令人印象深刻的结果。然而,常用的提示策略仍然相对通用,限制了模型准确表达情感意图和微妙情感属性的能力。这项工作提出了 EPIG,一种在图像生成之前即时增强情感表达的方法。 EPIG 以心理信息情感表示(价唤醒)为基础,并利用结构化的、角色感知的提示丰富功能,丰富了提示中与情感相关的组成部分,而无需修改或重新训练图像生成主干。由此产生的情绪感知提示引导生成过程产生情感上更加连贯的视觉输出,在控制唤醒方面特别有效。 EPIG 轻量级、免训练,非常适合资源受限、个性化的图像生成场景。 10 个不同提示的基准实验结果表明,与强基线相比,EPIG 降低了平均唤醒误差,包括朴素插入和基于 LLM 的提示扩展,分别降低了 14% 和 12%。这些改进具有统计意义。 EPIG 还保留了价态对齐和语义一致性,由 CLIPScore 测量并得到消融研究的支持。在包含人类、儿童或动物等明确主题的提示上,效果更为明显,减少幅度达到 17%,凸显了所提出方法的主题敏感行为。

EPIG:面向个性化图像生成的情感提示:论文配图
图 1:EPIG 提示丰富管道概述。