论文

rEDMRec:将 大语言模型 推理提炼成可编辑的经验记忆以进行推荐

rEDMRec: Distilling Large Language Model Reasoning into an Editable Experience Memory for Recommendation

摘要

大语言模型 可以通过对用户历史记录和候选项目进行显式推理来提高推荐质量 - 例如,提取用户的偏好或解释为什么一个项目比另一个项目更适合 - 而不是将历史记录直接映射到排名列表。然而,在每个排名请求上重复这种推理的成本很高,而且一旦产生,通常会被消耗一次并丢弃,使其既不能在未来的请求中重复使用,也不能随着用户品味的变化而易于检查或纠正。我们的见解是,如果可以将推理压缩一次到轻量级模型从中检索的紧凑的结构化内存中,则不需要在每次调用时重新生成推理。我们提出了 rEDMRec,它将教师 LLM 的推理提炼成四种类型的、可编辑的体验通道 - 长期偏好、短期上下文、项目感知和反事实硬否定比较 - 由 LLM 内存控制器维护,该控制器执行添加/删除/修改/保留操作并通过 K-agent 辩论细化条目。然后,轻量级学生 LLM 纯粹通过从该内存中检索来对候选者进行排名,而无需再次调用教师,从而将在线推理成本与推理深度解耦。在 ML-1M、Amazon Beauty、Steam 和 10 个学生骨干网中,rEDMRec 在每个骨干网上比零样本、少样本和 RAG 提高了 HR@1,在大多数骨干网上比 GraphRAG 提高了 HR@1,与 ML-1M 上的第二佳基线相比,Impv 高达 13.3%。渠道消融表明,短期背景是唯一能够在能力层次上持续提供帮助的渠道,而长期、项目感知和反事实贡献则依赖于能力(并且可能会对最优秀的学生产生逆转);基于辩论的内存优化将银行重复率降低了 7.4 个百分点,同时在六个优化时期内将下游 HR@1 提高了高达 +0.029。