论文

LLM-HYPER:基于LLM超网络、面向冷启动广告个性化的生成式CTR建模

LLM-HYPER: Generative CTR Modeling for Cold-Start Ad Personalization via LLM-Based Hypernetworks

模型推理推理策略与问题分解

摘要

在在线广告平台上,新上架的推广广告面临冷启动问题,因为它们缺乏足够的用户反馈用于模型训练。在本工作中,我们提出LLM-HYPER,一个将大语言模型(LLM)用作超网络(hypernetwork)、以免训练方式直接生成点击率(CTR)估计器参数的新框架。LLM-HYPER对多模态广告内容(文本与图像)使用少样本思维链(Chain-of-Thought)提示,为线性CTR预测器推断逐特征的模型权重。通过CLIP嵌入检索语义相似的历史广告活动并将其格式化为提示中的示范样例,LLM学会推理客户意图、特征影响与内容相关性。为确保数值稳定性与可服务性,我们引入归一化与校准技术,使生成的权重与可上生产的CTR分布对齐。大量离线实验表明,LLM-HYPER在NDCG@10上显著超越冷启动基线55.9%。我们在美国某头部电商平台上开展的真实在线A/B测试证明了LLM-HYPER的强劲表现,它大幅缩短了冷启动周期并取得了有竞争力的效果。LLM-HYPER已成功部署于生产环境。

LLM-HYPER:基于LLM超网络、面向冷启动广告个性化的生成式CTR建模:论文配图
图1:LLM-HYPER的(a)框架与(b)-(d)提示词细节,归一化权重用于CTR预测。