论文
基于 LLM 的跨域顺序推荐的清晰度感知模型与显着性恢复的合并
Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation
摘要
基于 LLM 的跨域顺序推荐（CDSR）利用 LLM 通过深度语义推理来增强目标性能，减轻对重叠用户的依赖。在基于 LLM 的范例中，模型合并由于其在集成不同知识源方面具有卓越的可扩展性和灵活性，在多领域场景中特别有前景。然而，我们的实证研究揭示了两个关键瓶颈：（1）跨领域知识冲突； (2)多域融合的性能饱和。我们的分析将这些现象归因于合并过程中的参数级错位和统计同质化。为了解决这些瓶颈，我们提出了 SharpRec，即基于 LLM 的 CDSR 的具有显着恢复功能的锐度感知模型合并，这是一个旨在提升合并模型的性能上限的框架。 SharpRec 包含两个协同模块： 锐度感知几何对齐，为无干扰融合建立稳定的几何基础；和偏好显着性激活，可有效恢复对于增强目标域性能至关重要的独特特征。双域和多域场景中的大量实验表明，SharpRec 的性能始终优于最先进的基线。