论文

超越固定的深度和宽度:优化基于 LLM 的生成推荐中的文本解码尝试

Beyond Fixed Depths and Widths: Optimizing Textual Decoding Tries in LLM-based Generative Recommendation

模型推理解码与生成控制

摘要

生成推荐(GR)是推荐系统中越来越流行的范例,其中一个突出的工作是使用 LLM 作为自回归主干来预测下一个项目的术语 ID(例如标题或关键字)。自回归生成的成功取决于解码特里树上的约束波束搜索,以确保生成的输出对应于有效项。然而,当前的研究主要集中在生成更全面的术语ID来描述项目,而很大程度上忽略了由这些术语形成的解码特里树的结构设计。这可能会导致特里树不适合波束搜索,从而降低性能。为了解决这个问题,我们从解码 trie 优化的角度检查术语 ID 的有效性。通过经验和理论分析,我们确定了高性能特里树的两个理想属性:(1)自适应和可变的ID长度,使得具有不同语义丰富度的项目能够由适当长度的ID来表示,以及(2)受约束的分支因子,特别是在浅层,这大大提高了受约束波束搜索的成功率。受这些属性的推动,我们引入了 BONSAI:自适应标识符的分支优化节点结构,这是一个共同设计文本术语 ID 及其底层解码 trie 的新颖框架。 BONSAI 从项目元数据中提取推荐信息词,并采用最小集覆盖公式来递归构建满足上述属性的特里树。实验表明,与最先进的基线相比,BONSAI 的相对改进高达 21.6%。进一步的分析证实了我们提出的属性的关键作用,并证明了它们的通用性,可用于增强其他术语 ID 方法的性能。