IR3DE：适用于 大语言模型 的线性路由器

基础 大语言模型 (LLM) 展示了对各种一般任务的熟练程度，并通过领域专家 LLM 在各种专业任务上取得了显着的成果。随着可用 LLM 列表的不断增长，推理路由器被建议为每个提示选择最合适的 LLM。然而，现有的路由方法要么优化从弱到强的通才 LLM 的成本，要么需要大量训练来支持领域专业知识路由。在本文中，我们提出了 IR3DE，一种面向领域专家的基于岭回归的路由器，它为每个提示提供廉价且快速的路由决策。我们在两种因果语言模型 (CLM) 设置中评估 IR3DE，其中任务是所有域的下一个标记预测，以及一种推理设置，其中每个域都有自己独特的推理任务。尽管是线性路由器，IR3DE 在两种 CLM 设置中实现了与其他基线相当的性能，并在推理设置中超越了它们，标准化性能为 98.4%。此外，IR3DE 可以添加或删除新的领域专家，而无需从头开始重新训练路由器，从而可以在对路由器本身的干扰最小的情况下提供动态的 LLM 集。我们的代码位于：github.com/gensyn-ai/IR3DE。