论文

SWRouter:用于多轮 大语言模型 对话的相似收缩窗口路由

SWRouter: Similarity-Contractive Window Routing for Multi-Turn Large Language Model Conversations

AI 基础设施模型网关

摘要

大语言模型 表现出互补的优势,激发路由方法将每个查询分派到最合适的模型。尽管现有的路由器在单轮设置中有效,但它们不能直接转移到多轮对话,其中路由性能关键取决于历史上下文如何分段、保留和合并到当前提示中。这带来了两个基本挑战:在上下文构建过程中防止信息丢失和信息混乱,以及在不将模型选择与即时构建质量混为一谈的情况下评估路由质量。在本文中,我们提出了 SWRouter,一种用于多轮 大语言模型 路由的相似收缩窗口路由器。 SWRouter 将用于快速构建的基于相似性的上下文分段机制与将构建准确性与路由器性能解耦的双度量评估框架相结合。多轮对话基准实验表明,SWRouter 始终超越强大的基线,与最佳个体 大语言模型 相比,评估精度提高了 16.26%,并且比 Conv-ID Context 基线额外提高了 8.22%。我们的结果强调,多轮 大语言模型 路由需要上下文构建和评估的联合设计,而不是单轮路由方法的直接扩展。