论文

EmoStyle:风格专家的情感调节,用于生成情感图像

EmoStyle: Affective Conditioning of Style-Specialist Experts for Emotional Image Generation

应用与实践内容创作

摘要

情感感知的艺术图像生成需要图像匹配输入提示、遵循指定的艺术风格、传达目标情感。在这个挑战中,主要的困难是训练数据中可用的视觉和情感属性在测试时没有明确提供。如果没有这些属性,生成器不仅要决定要描绘什么,还要决定如何通过色彩、灯光、笔法、构图、线条和布局来表达目标情感。这在可用的测试提示和情感感知艺术生成所需的细粒度条件之间造成了控制差距。为了弥补这一差距,我们提出了 EmoStyle,一种基于 Z-Image 的框架,可将输入提示转换为结构化生成状态。 LLM 推理器首先预测情感线索(效价唤醒、主导情绪和治疗效果标签)和纵横比决策。我们不仅仅将这些预测用作附加提示文本,而是将情感场编码为情感条件向量,并通过 AdaLN 式调制将其注入去噪块中。这允许推断的控制变量直接指导中间特征的生成。由于情感表达也依赖于风格,因此我们进一步为每个艺术风格桶训练专用的 LoRA 适配器,并在推理过程中选择相应的专家,从而能够使用特定于桶的颜色、纹理、笔触和构图先验来渲染相同的情感线索。最后,轻量级 VLM 引导的候选选择步骤根据提示对齐、风格一致性、情感表达和视觉质量对生成的图像进行排名。在 2026 年 AffectiveArt Challenge 的第一场比赛中,我们的 USTC\_PI\_LAB\_TEAM 提交的作品获得了第一名。