用于顺序推荐的多 LLM 词元过滤和路由

大语言模型（LLM）最近通过提供丰富的语义知识在推荐方面展现出了前景。虽然大多数现有方法依赖外部文本语料库来使 LLM 与推荐系统保持一致，但我们重新审视一个更基本但尚未充分探索的问题：推荐是否可以在没有文本输入的情况下单独从 LLM 词元嵌入中受益？通过系统的实证研究，我们表明，由于语义错位、任务适应性不足以及单个 LLM 的覆盖范围有限，直接将单个 LLM 的词元嵌入注入顺序推荐器会导致不稳定或有限的增益。为了应对这些挑战，我们提出了 MLTFR，这是一种用于无语料库顺序推荐的多 LLM 词元过滤和路由框架。 MLTFR 遵循交互引导的 LLM 知识集成范例，其中通过用户引导的标记过滤来选择与任务相关的标记嵌入，以抑制噪声和不相关的词汇信号。为了克服单个 LLM 表示的限制，MLTFR 通过专家混合架构集成了多个 LLM 词元空间，并使用 Fisher 加权语义共识专家来平衡异构专家并防止训练期间的支配。通过联合过滤信息词元并聚合多个 LLM 的互补语义知识，MLTFR 可以稳定有效地利用 LLM 词元嵌入，而无需文本输入或主干修改。大量实验表明，MLTFR 始终优于最先进的顺序推荐基线和现有的对齐方法。我们的代码位于：https://github.com/ccwwhhh/MLTFR。