论文

帕累托引导的教师对齐以实现公平的个性化文本生成

Pareto-Guided Teacher Alignment for Fair Personalized Text Generation

模型训练偏好优化

摘要

个性化的说服性文本生成可以提高相关性和参与度,但人口条件也可能会在群体之间引入不平等的框架。我们将个性化生成中的公平性缓解研究为受限的多目标对齐问题:减少人口差异,同时保持个性化保真度。我们提出了一个帕累托引导的教师对齐框架,该框架结合了基于修订的候选生成、配对感知可行性门控、帕累托式候选选择以及通过监督 微调 和直接偏好优化的可选偏好优化。我们使用具有匹配的性别和年龄对的受控上下文丰富的人口统计网格以及涵盖说服偏差、形式差异、情感框架差异、词汇关联差异和个性化保真度的统一五项审计评估套件来评估气候变化和疫苗接种说服任务的框架。在这两个领域和跨家庭转移设置中,没有单一的调整策略同时主导所有目标。相反,方法占据了公平个性化帕累托边界的不同区域:一些方法实现了更强有力的差距缩小,而另一些方法则更好地保持了个性化或人口稳定性。我们的结果表明,公平性缓解效果是目标相关的,并且在不同领域和模型系列之间的转移不一致,从而激发了有界回归、多重审计模型选择而不是单一指标优化,以实现公平敏感的个性化生成。