论文

面向成本高效 LLM 智能体的基于图的自愈工具路由

Graph-Based Self-Healing Tool Routing for Cost-Efficient LLM Agents

智能体系统Agent HarnessAgent Runtime

摘要

使用工具的 LLM 智能体面临可靠性-成本权衡:每个决策都经 LLM 路由可提升正确性,但带来高延迟和推理成本;预编码的工作流图降低成本,却在未预期的复合工具故障下变得脆弱。我们提出 Self-Healing Router,一种容错编排架构,把大多数智能体控制流决策当作路由而非推理处理。该系统结合(i)并行健康监测器,为工具宕机和风险信号等运行时状况赋予优先级分数;以及(ii)成本加权工具图,由 Dijkstra 算法执行确定性最短路路由。当工具在执行中途故障时,其边被重赋权为无穷大并重新计算路径——无需调用 LLM 即可自动恢复。LLM 只保留给不存在可行路径的情形,用于目标降级或升级。既有基于图的工具使用系统(ControlLLM、ToolNet、NaviAgent)聚焦工具选择与规划;我们的贡献是带确定性恢复和二元可观测性的运行时容错——每个故障要么是记录在案的重路由,要么是显式升级,绝不会是静默跳过。在覆盖三种图拓扑(线性流水线、依赖 DAG、并行扇出)的 19 个场景中,Self-Healing Router 在正确性上与 ReAct 相当,同时把控制面 LLM 调用减少 93%(合计 9 对 123),并消除了工程良好的静态工作流基线在复合故障下出现的静默失败。