GraphPlanner：用于多代理的图形内存增强代理路由 LLM

LLM路由在整合不同模型的优势同时平衡效率和性能方面取得了可喜的成果。然而，为了支持更现实和更具挑战性的应用，路由必须扩展到代理LLM设置，其中任务规划、异构代理之间的多轮合作和内存利用是必不可少的。为了解决这一差距，我们提出了 GraphPlanner，这是一种用于多代理 LLM 的异构图内存增强代理路由器，它为每个查询生成路由工作流，并支持归纳和传导推理。 GraphPlanner 将工作流生成制定为马尔可夫决策过程 (MDP)，其中每一步都会选择 LLM 主干和代理角色，包括 Planner、Executor 和 Summarizer。通过利用异构图（表示为 GARNet）来捕获查询、代理和响应之间的交互记忆，GraphPlanner 将历史记忆和工作流记忆集成到更丰富的状态表示中。整个流程通过强化学习进行优化，共同提高特定任务的性能和计算效率。我们在 14 个不同的 LLM 任务中评估 GraphPlanner，并证明：(1) GraphPlanner 的性能优于强大的单轮和多轮路由器，将准确度提高了 9.3%，同时将 GPU 成本从 186.26 GiB 降低到 1.04 GiB； （2）GraphPlanner对未见过的任务和LLM具有鲁棒的泛化能力，表现出强大的零样本能力； (3) GraphPlanner 有效地利用历史记忆，支持归纳推理和传导推理，以实现更具适应性的路由。我们的 GraphPlanner 代码发布于 https://github.com/ulab-uiuc/GraphPlanner。