LLM RecSys 的数字和嵌入功能标记化

摘要

大语言模型（LLM）由于其强大的序列建模和表示学习能力而越来越多地用作推荐系统的骨干架构。然而，大多数基于 LLM 的推荐器主要对离散文本标记进行操作，而实际的推荐管道还依赖于上游特征工程或预训练编码器产生的连续数字特征和密集嵌入特征。这种不匹配限制了基于 LLM 的模型利用细粒度非文本信号的能力。我们提出了一种软词元融合框架，将数值和嵌入特征映射到 LLM 嵌入空间中，允许通过标准词元接口使用异构推荐信号。我们在基于共享参数 LLM 的两塔检索模型中实例化该框架，并引入基于交互的融合模块，该模块在将嵌入和数字软标记插入最终的 LLM 输入之前对其进行细化。对三个 Amazon 推荐基准的实验表明，软词元融合比基于 LLM 的基线提高了检索性能，并且基于交互的融合比异构软词元的直接串联更有效。