论文

CURE:基于 LLM 的推荐的电路感知取消学习

CURE:Circuit-Aware Unlearning for LLM-based Recommendation

模型训练模型编辑与遗忘

摘要

大语言模型 (LLM) 的最新进展通过实现对用户兴趣和项目属性的丰富语义理解和推理,为推荐系统带来了新的机遇。然而,随着隐私法规的收紧,将用户数据纳入基于 LLM 的推荐 (LLMRec) 会带来重大的隐私风险,使得遗忘算法对于实际部署变得越来越重要。尽管人们对 LLMRec 遗忘的兴趣日益浓厚,但大多数现有方法将遗忘制定为遗忘和保留目标的加权组合,同时以统一的方式更新模型参数。这种公式不可避免地会引起两个目标之间的梯度冲突,导致优化不稳定,导致无效的遗忘或模型效用的严重下降。此外,遗忘过程在很大程度上仍然是黑匣子,破坏了其透明度和可信度。为了应对这些挑战,我们提出了 CURE,这是一种电路感知的去学习框架,它将模型组件分解为功能不同的子集并有选择地更新它们。这里,电路是指对特定任务行为负有因果责任的计算子图。具体来说,我们提取了项目推荐背后的核心电路,并分析了这些电路中的各个模块如何有助于忘记和保留目标。基于此分析,这些模块被分为特定遗忘组、特定保留组和任务共享组,每个组都遵循特定功能的更新规则,以减轻遗忘过程中的梯度冲突。对现实世界数据集的实验表明,我们的方法比现有基线实现了更有效的遗忘。