论文

PersonalAI 2.0:通过个性化 LLM 代理的规划机制增强知识图谱遍历/检索

PersonalAI 2.0: Enhancing knowledge graph traversal/retrieval with planning mechanism for Personalized LLM Agents

上下文与知识知识图谱

摘要

我们推出 PersonalAI 2.0 (PAI-2),这是一种新颖的框架,旨在通过集成外部知识图 (KG) 来增强基于 LLM 的系统。所提出的方法通过结合动态、多级查询处理管道来解决现有图检索增强生成(GraphRAG)方法的关键局限性。 PAI-2 设计的中心点是其执行自适应、迭代信息搜索的能力,由提取的实体、匹配的图顶点和生成的线索查询引导。对五个基准(Natural Questions、TriviaQA、HotpotQA、2WikiMultihopQA 和 MuSiQue)进行的评估表明,与模拟方法(LightRAG、RAPTOR、HippoRAG 2 和 PAI-1)相比,生成答案的事实正确性有所提高。 PAI-2 在 2WikiMultihopQA 和 MuSiQue 基准上实现了 LLM-as-a-Judge 平均增益 9%,并且在 TriviaQA 和 HotpotQA 基准上达到了与 HippoRAG 2 相当的准确度,反映出其在降低幻觉率和提高精确度方面的有效性。我们通过 LLM-as-a-Judge 在五个基准测试中发现,与禁用的搜索计划增强机制相比,启用的搜索计划增强机制获得了 18% 的提升。此外,消融研究表明,PAI-2 在 MINE-1 基准上取得了 SOTA 结果,在 7--15B 层中使用 LLM 获得了 89% 的信息保留分数。总的来说,这些发现强调了 PAI-2 作为个性化人工智能应用程序的可重用组件的潜力,这些应用程序需要可扩展的、上下文感知的知识表示和推理能力。 PAI-2的源代码可在以下链接获取:https://github.com/Dzigen/PersonalAI。