论文

REPREC:表示驱动的参数高效推荐系统

REPREC: Representation Driven Parameter-Efficient Recommendation System

模型训练参数高效训练

摘要

大语言模型 (LLM) 已通过输入条件或模型自适应合并协作信号来应用于顺序推荐。然而,现有方法通常需要 LLM 微调、附加架构模块、表示 蒸馏 或长期交互历史记录中的项目级调节,从而增加了计算和部署成本。我们提出 REPREC,这是一个轻量级框架,它使用紧凑的用户级表示来调节冻结的 LLM。 REPREC 通过 MLP 注入器将固定大小的嵌入从冻结的顺序编码器映射到一小组学习的软词元中,仅训练注入器,同时保持两个预训练的主干不变。我们的大量实验表明,REPREC 能够持续提高不同顺序编码器、LLM 主干网和用户活动级别的推荐性能。其紧凑的调节机制还使得 REPREC 在训练和推理过程中的计算效率很高。此外,使用短历史进行训练,同时使用较长的上下文进行评估,可以保留 94--99% 的全历史性能,同时实现平均每轮训练加速1.50倍。该代码位于:https://github.com/phdbotcode/REPREC