RouteLMT：混合 LLM 翻译部署的学习路由示例

大语言模型 (LLM) 在机器翻译 (MT) 方面取得了卓越的性能，但大规模部署它们的成本仍然过高。一种广泛采用的补救措施是混合系统范例，它通过使用小模型服务大多数请求并选择性地将一小部分路由到大模型来平衡成本和质量。然而，现有的路由策略通常依赖于启发式、外部预测器或绝对质量估计，这些策略无法捕获大型模型是否确实比小型模型提供了有价值的改进。在本文中，我们将路由制定为预算分配问题，并将边际增益（即大模型相对于小模型的改进）确定为预算决策的最佳信号。在此基础上，我们提出了 \textbf{RouteLMT} （基于 LLM 的 MT 的路由），这是一种高效的模型内路由器，它通过探测小型翻译器提示词元表示来预测预期增益，而不需要外部模型或假设解码。大量实验表明，我们的 RouteLMT 优于启发式方法、质量/难度估计基线，实现了卓越的质量预算帕累托前沿。此外，我们分析了回归风险，并表明简单的受保护变体可以减轻严重的质量损失。