从早期经验中学习代理路由

LLM 代理在复杂的推理任务上实现了强大的性能，但会产生高延迟和计算成本。在实践中，许多查询都属于尖端 LLM 的能力范围，不需要完整的代理执行，这使得 LLM 和代理之间的有效路由成为关键挑战。我们研究了在实际冷启动设置下轻量级 LLM 推理和完整代理执行之间的路由查询问题。为了解决这个问题，我们提出了 BoundaryRouter，一个 无需训练 路由框架，它使用早期行为经验和标题引导推理来决定是使用直接 LLM 推理来回答查询还是升级到代理。 BoundaryRouter 通过在共享种子集上执行两个系统来构建紧凑的体验记忆，并在推理时检索类似的案例来指导路由决策。为了评估这种方法，我们引入了 RouteBench，这是一个涵盖域内、释义和域外路由设置的基准。实验表明，与代理相比，BoundaryRouter 减少了 60.6% 的推理时间，同时比直接 LLM 推理提高了 28.6% 的性能，分别比基于提示和仅检索的路由平均分别提高了 37.9% 和 8.2%。