论文

面向 LLM 顺序推荐学习鲁棒个性化提示

Learning Robust Personalized Prompts for LLM-Driven Sequential Recommendation

模型训练参数高效训练

摘要

LLM 驱动的顺序推荐将下一项预测制定为以自然语言提示为条件的自回归生成。然而,语义等效提示中的微小措辞变化可能会导致显着的性能波动,破坏稳健性并需要昂贵的手动提示工程。持续提示学习减少了模板依赖性,但面临两个相互作用的挑战:共享任务级指令缺乏用户特定的推理指导,而 梯度 更新可以将连续提示推到 LLM 的有效语义空间之外。注入个性化信号可以进一步放大这种语义漂移。为了应对这些挑战,我们提出了 LRPRec,这是一种可学习的提示框架,它从离散模板初始化连续指令提示,并引入两种互补机制。个性化提示注入将用户行为编码到偏好嵌入中,并将其附加地注入到共享提示中,从而实现参数高效的用户级适应。语义漂移约束将信任区域内的共享提示围绕其初始化锚点进行规范化,以在优化期间保持语义有效性。通过限制共享组件,同时允许附加个性化,LRPRec 将稳定性与表现力解耦。对三个基准数据集的广泛实验表明,在强基线上取得了一致的改进,同时消除了手动调整背景和任务推理模板的需要。

面向 LLM 顺序推荐学习鲁棒个性化提示的原论文方法或结果图
图 1。图 1。LRPRec 的动机。 LLM 驱动的顺序推荐会受到提示敏感性的影响,语义等效提示中的微小措辞变化可能会导致显着的性能波动。尽管持续提示学习减轻了模板依赖性,但现有方法仍然面临两个挑战:(1)缺乏个性化,因为共享提示无法捕获不同的用户偏好和推理模式;(2)语义漂移,即学习到的提示向量在优化过程中可能会偏离 LLM 的有效语义空间。