打破僵局：大语言模型的集群感知路由框架

随着人工智能的快速发展，各种大语言模型（LLM）的出现创造了丰富的模型生态系统。然而，这也带来了一个关键挑战：如何针对特定用户查询选择最优模型。 LLM路由通过动态地将查询分配给候选模型池中最合适的专家来满足这一需求。然而，现有的路由框架通常将此过程简化为标准分类任务；因此，当多个候选模型正确回答同一查询时，就会暴露出一个严重的漏洞。我们将这种能力重叠形式化为路由噪声，它会用任意正确的候选模型误导路由器，最终导致路由崩溃（对未见过的任务的泛化能力严重下降）。为了解决这个问题，我们提出了一种新颖的集群感知软标签路由（CASLR）框架。 CASLR 通过用 masked softmax 机制替换传统的 one-hot 向量，将评估范式从单个查询的成功转变为宏域共识。具体来说，对于回答错误的专家，我们将他们的目标概率惩罚为零；对于其余的候选者，我们根据其全局聚类效用分数直接计算连续的细粒度软标签。然后，我们使用这些精炼的软标签来监督轻量级路由器。具体来说，该框架不仅在多个基准测试中表现出卓越的准确性，而且在整体平均性能方面比 Llama-3.3-70B-Instruct 高出 7.80%。此外，仅1.13s的极低路由推理延迟进一步证实了CASLR可以在保证高响应质量的同时，以几乎零额外开销实现高效的系统调度。