论文
顺序推荐中大型预训练多模态嵌入模型的流感知端自适应
Stream-aware Side Adaptation for Large Pre-trained Multimodal Embedding Models in Sequential Recommendation
摘要
最近，大型预训练多模态嵌入模型（例如 Qwen3-VL Embedding）在顺序推荐方面表现出了强大的前景，因为它们提供了跨模态和领域的可重用语义项目表示。然而，由于域未对齐，直接使用这些嵌入通常会导致性能不佳。因此，有效的侧面适应是一个有吸引力的解决方案。尽管调整所有骨干层应该有所帮助，但现有的侧适配器通常会随着深度的增加而退化，从而导致层丢弃，尽管丢失了有用的隐藏状态。这是由于两个主要挑战：（1）在残差加法期间缺乏选择融合表示的建模，以及（2）在渐进式 sigmoid 融合期间对早期表示的保留不足。因此，本文提出了一个实际问题：我们如何设计一种侧面适应方法来有效释放大型预训练多模态嵌入模型的潜力？为了解决这个问题，我们提出了 Stresa，一种流感知的侧适应框架，用于顺序推荐中冻结的大型预训练多模态嵌入模型。 Stresa 引入了流感知隐藏适配器融合 (SHAF) 来在融合过程中保留历史侧内存，并引入残余流适配器 (ReSA) 来跨层生成选择性残余更新。根据经验，Stresa 在跨多个骨干嵌入模型的公共数据集上始终优于标准侧适配器和最先进的基线。这些结果凸显了采用大型嵌入模型进行顺序推荐的前景。我们的代码可在 https://github.com/GAIR-Lab/Stresa 上公开获取。