SCX Router：结合解码器KV分类器与真实任务本体的流式零样本模型选择

大语言模型 (LLM) 的快速增长及其应用程序的日益多样化提供了独特的优化机会：为任务选择正确的模型，同时在每个任务级别优化速度、成本和质量。然而，推理端点在质量、价格、延迟、上下文支持、工具使用、领域专业知识和推理行为方面可能存在很大差异。这种异质性使得手动启发式方法难以维护，并且不太可能自行实现始终有利的速度-成本-质量权衡。我们引入 \router{}，一个基于 GLiClass 的轻量级路由器，它为每个推理时间模型标签分配适合性分数，而无需自回归生成。发布的 0.6B 参数检查点结合了 Qwen3 解码器和浅双向记分器。它的解码器 KV 执行路径在会话中保留纯文本键值缓存，仅对新的对话回合进行编码，并评估瞬态候选标签标记，而不将它们添加到持久缓存中。同一检查点还预测任务类型、难度、推理模式和预期输出长度，并支持自定义零样本标签。对于任务生成，我们构建了一个包含 23 个族、115 个任务类型、345 个可路由子类型、1,173 个合成示例和 30 个域的正交轴的任务本体。使用这种结构，我们生成了 150,000 个验证者评分的任务和 15,000 个开放式任务。然后，我们在这些任务上训练 Qwen3 解码器，同时将学习到的请求预测与每个任务策略明确分开，以获取资格、成本、缓存重用、安全性和主权等属性。在六个 LiveBench 子集中，路由器的性能优于平均候选路由器；在选定的 1,000 个任务子集上，它的 top-1 总分为 0.707，而最强固定模型为 0.696，并具有与基准相关的收益。