LLM 广告相关性偏差的系统研究

大语言模型 (LLM) 越来越多地用于判断广告与查询的匹配程度，但这些判断中的 公平性 受到的关注有限。我们对公平性在LLM对查询和广告的相关性判断上进行了系统的研究。我们的反事实框架检查了广告商身份和可能的受欢迎程度、输入语言和人口统计措辞的影响。我们研究 GPT-4o 作为分类相关性判断器和专门为相关性预测训练的 Qwen-7B 模型。广告商和语言实验使用从真实广告日志中采样的查询和广告对。受控综合查询用于研究就业、住房和信贷方面的人口关联。对于这两种模型，改变广告商身份或输入语言可以改变相关性评估。选定的人口统计比较也显示出与常见刻板印象一致的模式，特别是涉及性别和职业的模式。我们进一步研究模型推理和训练期间的缓解措施。结果表明，其有效性取决于广告商信息是否与查询相关以及广告商标签在训练数据中的分布方式。这些发现可以帮助广告从业者识别 公平性 风险并为 LLM 相关系统开发合适的缓解方法。