代理作为多模态推荐中的知识整合者和利用者

在线平台越来越依赖多模式推荐系统对产品、媒体和其他网络内容进行排名。现有的方法通常将视觉和文本特征注入到项目表示中，或者根据模态级别的相似性构建同构图，但生成的信号可能仍然与推荐目标不一致。我们从知识整合的角度研究这种语义差距：多模态内容在用于构建推荐图或调整排名之前应与用户行为一起解释。我们提出了 AgentMMRec，一个基于代理的多模式推荐框架，具有两个协调角色。集成代理从训练交互和项目内容中推断行为和多模式感知的用户偏好和项目属性，然后将它们存储在可重用的知识存储器中。 Utilizer Agent 使用此内存来细化特定于模态的项-项图、构建行为感知同构图，并在冻结的评估时间内存下重新排列候选列表。这种设计不同于直接的 LLM 特征增强和纯粹的 LLM 重新排序，因为生成的知识在推荐之前首先转换为图结构和模型表示。对三个 Amazon 多模态推荐数据集的实验表明，AgentMMRec 在最近的多模态基线上持续改进了 Recall 和 NDCG，在稀疏性和项目冷启动设置下仍然有效，并且可以将其构建的知识转移到现有的主干网络。