即时工程对受保护查询路由的小语言模型的影响

我们研究受保护的查询路由问题，假设用户查询首先遇到一个路由器，该路由器要么确定分布内查询的理想端点，要么拒绝可能不安全或超出系统范围的分布外查询。我们研究紧凑的开放权重小语言模型（SLM）是否可以在延迟限制下联合处理这两个任务。我们在 GQR-Bench 上评估 22 个模型，并使用分布内和分布外精度的调和平均值对它们进行评分。我们发现中型 SLM 以低得多的延迟接近前沿模型路由质量。尽管如此，许多紧凑模型还是失败了，因为它们不能可靠地遵循所需的输出格式。然而，我们的结果表明，即时优化技术使 SLM 能够优雅地处理此类情况，而无需更改模型的权重。此外，几次快速优化将 Mistral 7B GQR 分数从 81.79 提高到 90.87，并将 Qwen3.5 9B 提高到 95.74，这是我们研究中的最佳优化分数，与最强的未优化较大模型：Gemma 3 27B（96.01）相差不到 0.3 分。没有上下文样本的裸 DSPy 签名是 Granite 4 Tiny 最有效的策略，将其得分从 54.29 提高到 83.05。这些结果表明，即时优化是受保护查询路由的有用的第一步，而较弱的模型可能仍然需要权重级别适应或模式感知训练