论文
基于混合专家知识图谱检索增强的多代理 LLM 推荐生成
Mixture-of-Experts Knowledge Graph Retrieval-Augmented Generation for Multi-Agent LLM-based Recommendation
摘要
大语言模型 (LLM) 最近被用于推荐,因为它们能够理解用户意图和项目语义。然而,基于 LLM 的推荐系统通常依赖于参数化知识并受到过时知识的影响,从而激发知识图谱检索增强生成(KG-RAG)以结构化的最新 KG 为基础进行推荐。尽管有这样的承诺,有效的 KG-RAG 推荐仍面临着巨大的挑战。首先,用户的查询复杂程度不同,需要不同粒度的KG知识,而现有方法采用一刀切的检索策略,导致简单查询的过度检索和复杂查询的检索不足。此外,用 KG 知识增强 LLM 需要将图结构数据转换为线性文本,这可能会引入噪声并导致结构信息丢失。此外,检索粒度的选择缺乏直接监督,必须从对齐和下游利用后的最终推荐中推断出来,使得查询感知检索难以端到端学习。为了解决这些问题,我们提出了 MixRAGRec,一个用于 KG-RAG 建议的协作多智能体框架。 MixRAGRec 集成了一个混合专家检索代理,将每个查询路由到不同粒度的知识图谱检索专家;一个知识偏好对齐代理,将结构化知识转换为 LLM 友好的自然语言;以及一个通过对比偏好反馈训练的对比学习强化推荐代理。值得注意的是,我们引入了专家混合多智能体策略优化(MMAPO)来在统一目标下训练三个智能体。对现实世界数据集的大量实验证明了我们框架的有效性。