论文

用于隐私保护的联合用户行为建模 LLM 建议

Federated User Behavior Modeling for Privacy-Preserving LLM Recommendation

应用与实践行业应用

摘要

大语言模型 在推荐系统中取得了巨大的成功。然而,用户数据的有限性和稀疏性往往限制了 LLM 有效建模行为模式的能力。为了解决这个问题,现有研究通过执行跨域推荐任务来探索跨域解决方案。但以前的方法通常假设域是重叠的并且可以轻松访问。 LLM方法都没有解决CDR设置中的隐私保护问题,即隐私保护跨域推荐。使用 LLM 进行非重叠 PPCDR 具有挑战性,因为:1)无法跨域共享用户身份或行为数据阻碍了有效的跨域对齐。 2)跨领域数据模式的异构性使知识整合变得复杂。 3)将传统推荐模型的协同过滤信号与 LLM 融合起来很困难,因为它们在不同的特征空间中运行。为了解决上述问题,我们提出了 SF-UBM,一种语义增强的联合用户行为建模方法。具体来说,为了应对挑战 1,我们利用自然语言作为通用桥梁,通过语义增强的联合架构连接不相交的域。在这里,基于文本的项目表示被加密和共享,而用户特定的数据仍然保留在本地。为了应对挑战 2,我们设计了一个事实计数器 知识蒸馏 模块,跨不同的数据模态将领域不可知的知识与特定领域的知识集成起来。为了应对挑战 3,我们将预先学习的用户偏好和跨域项目表示投影到软提示空间中,调整行为和语义空间以实现有效的 LLM 学习。我们对三对现实世界域进行了广泛的实验,实验结果证明了 SF-UBM 与最近的 SOTA 方法相比的有效性。