ACE：LLM 增强顺序推荐的各向异性可控嵌入

LLM-as-Extractor 范式的最新进展利用 大语言模型 (LLM) 将语义丰富的项目嵌入转移到顺序推荐 (SR) 主干中。然而，LLM 生成的嵌入通常具有很强的各向异性。大多数矢量集中在相似的方向上，导致几何不平衡，使得在 微调 期间难以适应协作信号。为了应对这一挑战，我们提出了各向异性可控嵌入（ACE），它显式控制 LLM 生成的嵌入的各向异性。具体来说，ACE 利用线性自动编码器 (LAE) 来重塑嵌入分布，同时保留其语义结构。在此过程中，L2 正则化项通过控制嵌入维度的分散来减轻各向异性，而重建损失则保持项目之间的语义关系。也就是说，ACE 平衡了几何均匀性和语义嵌入保留，以实现更稳定的学习。大量实验表明，ACE 始终优于现有的 LLM 增强 SR 模型，在 Recall@20 和 NDCG@20 中分别提高了高达 12.4% 和 11.8%。