融合分层出口推荐，赋能紧凑型 LLM

基于 大语言模型 的推荐系统 (LLM-RS) 已展现出卓越的功能，但在计算上对于许多实际应用来说是不可持续的。紧凑型 LLM 提供了一种实用的替代方案，但其容量减少通常需要推理或 知识蒸馏 方法，从而增加延迟或依赖于更大的模型。与自回归生成相结合，这些方法面临严重的可扩展性瓶颈。相比之下，区分性 LLM-RS 通过嵌入相似性实现高效的全语料库排名，但紧凑的主干在表达性和结构适应性方面仍然受到限制。我们提出了顺序推荐的逐层退出融合（FLEXRec），这是一种区分框架，可以增强紧凑的 LLM，同时保留可扩展的全语料库排名。 FLEXRec 在多个 Transformer 层插入预测头（即出口）并自适应地融合它们的分数分布。自适应连续路由器（AC-Router）动态地选择每个用户序列的出口数量和身份，而新颖的 target-k 铰链损失则调节路由稀疏性。使用 Qwen 3 1.7B 和 Llama 3.2 3B 对三个真实数据集进行的实验表明，FLEXRec 在竞争方法中实现了最先进的精度，同时保持了高效。代码：https://github.com/xurong-liang/FLEXRec