SeLMRoute：大语言模型路由的概率语义证据

大语言模型（LLM）路由旨在为每个传入查询选择最合适的模型。大多数现有路由器直接从查询嵌入、模型表示、偏好数据或类似示例集群中学习此决策。这种方法可能很有效，但用于路由的表示很少说明查询实际需要什么。我们引入了 SeLMRoute，一个路由框架，它将独立于候选者的语义证据的提取与候选者性能的学习和部署目标的应用分开。决策模型首先评估一组有关查询的可解释问题，例如其推理要求和外部知识的使用，并将每个判断保留为概率分布。轻量级监督路由器使用生成的概率语义状态来估计候选模型性能。路由目标在性能估计之后应用，这允许相同的语义状态支持面向性能和成本感知的决策。在 LLMRouterBench（15 个数据集、20 个候选模型、11,481 个查询）上，SeLMRoute 的平均准确度为 $72.08\% \pm 0.45$，而分组五折折叠评估达到 $72.64\%$，而最强固定候选的平均准确度为 $69.23\%$。该表示在评估的语义、密集、词汇和领域级表示中实现了最高的平均性能。在单独的 13 模型性能成本设置中，SeLMRoute 提高了所有五个分组分割的性能，平均 PerfGain 为 $2.66\%$。我们的代码可在 https://github.com/Indigma-Innovations/SeLMRoute. 获取