生成式推荐中LLM的记忆行为与训练策略

生成推荐（GR）已成为推荐系统的一个有前途的方向。最近，大语言模型 (LLM) 越来越多地被 GR 采用，因为它们丰富的预训练知识有望帮助它们泛化到传统的面向记忆的基线可以捕获的常见用户行为模式之外。然而，现有的基于 LLM 的 GR 工作在很大程度上忽略了 LLM 众所周知的记忆倾向，如果存在于针对 GR 进行微调的 LLM 中，将限制它们对预训练知识的利用。在这项工作中，我们通过检查单跳记忆来研究这个问题，其中模型推荐是训练数据中项目的直接后继项目。我们表明，LLM 比非基于 LLM 的 GR 模型在这方面做得更多——事实上，它们相对 GR 基线的绝大多数收益实际上是针对那些可以通过一跳记忆来预测目标项目的用户。我们直觉地认为，提高剩余用户的性能需要 LLM 学习超越一跳转换的更丰富的项目-项目关系。为了实现这一目标，我们提出了 IIRG，一种新颖的训练策略，它教会 LLM 捕获：（1）从用户序列中多个跳跃的项目共现导出的协作关系，以及（2）具有相似主题的项目之间的语义关系，这两者都可以作为有用的推荐信号。我们表明，IIRG 比仅使用标准下一项预测训练的 LLM 有了显着改进，对于那些测试项目未被训练时一跳转换覆盖的用户来说，收益尤其大。