论文
通过内核化投影和门控适配器实现基于 LLM 的推荐的轻量级公平性
Lightweight Fairness for LLM-Based Recommendations via Kernelized Projection and Gated Adapters
摘要
大语言模型 (LLM) 为推荐系统引入了新功能,支持动态、上下文感知和对话式推荐。然而,基于 LLM 的推荐系统继承并可能放大 预训练 数据中嵌入的社会偏见,特别是当存在人口统计线索时。现有的公平性解决方案要么需要额外的参数微调,要么遭受优化不稳定的困扰。我们提出了一种轻量级且可扩展的偏差缓解方法,该方法将内核化迭代零空间投影(INLP)与门控专家混合(MoE)适配器相结合。我们的方法估计一个封闭式投影,从 LLM 表示中删除单个或多个敏感属性,无需额外的可训练参数。为了保留任务效用,我们引入了一个两级 MoE 适配器,它可以选择性地恢复有用信号,而不会重新引入偏差。对两个公共数据集的实验表明,我们的方法减少了多个受保护变量的属性泄漏,同时保持了有竞争力的推荐准确性。