基于 大语言模型 的生成推荐的隐式推理

大语言模型 (LLM) 越来越多地被采用作为生成推荐 (GR) 的骨干，有望获得预先训练的世界知识。然而，如何可靠地运用这些知识来生成式推荐仍然知之甚少。一个主要障碍是基于 LLM 的 GR 通常表示具有语义 ID (SID) 的项目，从而破坏了 LLM 的自然语言推理接口，因为 LLM 在预训练期间看不到这些标记。现有的方法通过昂贵的多级管道来解决这个问题，这些管道将 将SID关联到具体语义并得出明确的理由，但对每个阶段何时以及为何必要的了解有限。在这项工作中，我们系统地分解了基于 LLM 的 GR 的显式推理训练流程，揭示了三个关键局限性：世界知识语言化的削弱、SID 和自然语言标记嵌入空间之间的错位以及对推理依据质量的敏感性，所有这些都会损害显式推理性能。为了规避这些问题，我们提出了 PauseRec，一种专为 GR 定制的轻量级隐式推理范式。 PauseRec 非常实用，避免了成本高昂的推理轨迹获取和推理对齐训练，从而带来了诸多好处：(1) 其性能比标准显式 CoT 方法高出 6.22%，(2) 其训练成本减少了 65% 的 GPU 小时数，(3) 推理速度提高了 71.3%。这些结果使 PauseRec 成为显式推理依据生成的轻量级替代方案，从而实现更有效和高效的基于 LLM 的 GR。