打破LLM增强推荐器的优化障碍：理论分析和实践框架

大语言模型 (LLM) 增强推荐模型将 LLM 表示注入主干推荐器中，以利用丰富的项目文本，而无需推理时间 LLM 成本。然而，我们发现现有的 LLM 增强方法显着阻碍了主干模型的优化，导致难以减少的高训练损失。为了解决这个问题，我们建立了局部优化曲率的全面理论分析，并确定了两个关键原因：1）范数差异大，2）LLM 表示的语义协作未对齐角度聚类。在这些见解的指导下，我们提出了训练友好型 LLM 增强推荐器（TF-LLMER），这是一个具有两个关键组件的轻量级框架。首先，我们强调项目嵌入标准化的必要性，以消除规范驱动的不稳定性并实现对优化条件的可证明控制。其次，我们介绍 Rec-PCA，这是一种推荐感知的降维方法，它将协作结构注入表示转换中，以解决语义协作未对齐的角度聚类问题。它与根据交互历史构建的项-项共现图联合优化语义信息保留和对齐。该图捕获了协作结构，并且通过惩罚图上的总变化来促进对齐。理论和广泛的实验都表明 TF-LLMER 显着优于最先进的方法。我们的代码可在 https://github.com/woriazzc/TF-LLMER 获取。