论文
SelfDR：来自基于 LLM 推荐的推理的 Self-蒸馏
SelfDR: Self-Distillation from Reasoning for LLM-Based Recommendation
摘要
大语言模型 (LLM) 最近成为推荐的强大支柱。为了更好地激发他们的能力，推理已被广泛采用，以帮助 LLM 解释丰富的文本信号并提高推荐准确性。然而，显式生成中间推理轨迹通常会产生大量的计算成本，这限制了在现实世界的推荐系统中的实际部署。为了应对这一挑战，我们提出了 SelfDR，这是来自推理框架的 Self-蒸馏，用于基于 LLM 的推荐。 SelfDR 提炼出 LLM 自身的推理增强预测来直接生成推荐，在保持推理效率的同时提高推荐效果。框架中的所有组件都构建在相同的基础LLM上，而不依赖于任何外部模型。具体来说，教师推荐器是通过训练一个以下游表现作为奖励的推理器来构建的，使其能够生成有针对性的理由，然后将其纳入教师的输入中。用于直接推荐的学生推荐器，具有相同的底层模型，然后通过具有动态权重策略的自我蒸馏向老师学习。在三个公共数据集上进行的大量实验验证了 SelfDR 的有效性、合理性和效率。代码可在 https://github.com/JiangDeccc/SelfDistillation 获取。