论文
AdaM-Rec:用于多模态推荐的自适应模态路由
AdaM-Rec: Adaptive Modality Routing for Multimodal Recommendation
摘要
虽然最近的多模态推荐系统已经证明了合并视觉和文本信息以提高下游性能的有效性,但大多数现有方法依赖于静态模态融合,假设文本和视觉信号的相对重要性在推荐场景中保持稳定。这种设计可能无法完全考虑推荐请求之间的重要差异:一些查询需要细粒度的视觉提示,而其他查询则可以通过文本或功能语义更好地服务,在这种情况下,不加区别的模态融合会带来无信息的提示并损害推荐质量。为了解决这个问题,我们提出了 AdaM-Rec,这是一种基于 LLM 的框架,用于多模态推荐中的自适应模态路由,它可以动态校准用户特定查询对文本和多模态证据的依赖。它建立在项目和用户偏好的结构化自然语言表示的基础上,使用代理召回任务来估计模态可靠性。具体来说,它生成与实际查询粒度相匹配的伪查询,同时将用户的积极交互项作为可验证的代理目标,评估哪种模态在类似场景中产生更好的召回性能,并以 Agentic 方式优化路由策略。然后,它使用优化策略执行路由召回,通过协作项目丰富结果,并根据候选者与查询和用户偏好的相关性对候选者进行排名。实验表明,AdaM-Rec 相对于最先进的基线提供了强大的性能,凸显了多模态推荐中对模态依赖的自适应控制的有效性和更广泛的潜力。