论文

SENSESHIFT:通过基于编码器的掩码填充连续情感控制文本生成

SENSESHIFT: Continuous Sentiment-Controlled Text Generation via Encoder-based Mask Infilling

模型训练监督微调与指令调优

摘要

最近用于情绪控制的可控文本生成(CTG)主要集中在基于解码器的 大语言模型 上,使因果注意力成为主导范式。虽然对于流畅的生成来说是有效的,但这些模型仍然难以满足复杂的约束并遵循用户指定的细粒度情感信号。现有的情感感知 CTG 方法通常通过将情感视为粗略的分类标签(例如正面或负面)或应用于整个文档的单个细粒度控制信号来简化问题。因此,更具挑战性的设置(例如长文本中的句子级情感控制)仍未得到充分探索。为了解决这些限制,我们引入了 SenseShift,一个基于编码器的细粒度句子级 CTG 框架。与标准解码器架构不同,SenseShift 利用双向注意力、量化情绪信号和迭代掩码填充来生成根据目标情绪强度调节的本地句子。对故事和评论生成的实证评估表明,与更大的基于解码器的基线相比,SenseShift 实现了更强的情感可控性,同时保持了文本质量和对域外生成的鲁棒性。