沙丘社区
论文

RELATE：面向广告文案生成的强化学习增强LLM框架

RELATE: A Reinforcement Learning-Enhanced LLM Framework for Advertising Text Generation

Jinfang Wang, Jiajie Liu, Jianwei Wu, Ziqin Luo, Zhen Chen, Chunlei Li, Biao Han, Tao Deng, Yi Li, Shuanglong Li, Lin Liu
模型训练强化学习

摘要

在网络广告中，广告文案在吸引用户参与和创造广告主价值方面发挥着关键作用。现有工业系统通常遵循两阶段范式：先生成候选文案，再将其与点击率（CTR）等在线表现指标对齐。这种分离常导致优化目标错位与漏斗效率低下，限制全局最优。为解决这些局限，我们提出RELATE，一种基于强化学习的端到端框架，在单一模型内统一生成与目标对齐。RELATE不将文本生成与下游指标对齐解耦，而是通过策略学习将表现与合规目标直接融入生成过程。为更好地捕捉超越点击级信号的最终广告主价值，我们将转化导向指标纳入目标，并将其与合规约束共同建模为多维奖励，使模型能够在政策约束下生成提升转化表现的高质量广告文案。在大规模工业数据集上的大量实验表明，RELATE持续优于基线。此外，在生产广告平台上的在线部署在严格政策约束下带来了点击转化率（CTCVR）的统计显著提升，验证了所提框架的稳健性与真实世界有效性。

RELATE：面向广告文案生成的强化学习增强LLM框架
图2：RELATE 的工作流概览。RELATE 构建于 GPRO（ Shao et al., 2024 ）之上，具有多维奖励系统（Multi-dimensional Reward System）和带信用分配的组计算（Group Computation with Credit Assignment）。前者整合来自多个奖励维度的奖励，包括 CTCVR Reward、Quality Reward 和 Diversity Reward。后者在组计算过程中引入信用分配，以得出有差异的 token 级优势。