企业 LLM 编码助手的任务到模型优化：用于成本优化路由的数据驱动框架

企业人工智能编码助手会产生大量推理支出，一旦考虑到重试、升级和开发人员等待时间，简单的词元成本最小化通常无法降低端到端成本。我们提出了任务到模型优化（T2MO），这是一种数据驱动的方法，用于优化生产编码工作流程中的模型选择。我们将每个开发人员会话视为一项任务，可以发现、分类、难度分级、在类似生产的工具中进行基准测试，并路由到能够在质量和延迟限制内完成它的最便宜的模型。该框架是一个九阶段管道，涵盖遥测仪器、分类发现、难度分级、基准构建、候选评估、最佳组合推导、预测和版本规划、分阶段路由部署和持续治理。与以词元为中心的路由规则不同，我们的目标是每个完成任务的成本，并明确定价失败升级。我们表明，这种预期完成成本目标在升级情况下对词元成本最小化的影响微弱，并且我们得出了路由边界，即更便宜的模型在给定单元上必须达到的最小通过率才值得部署。决策被组织为任务类别难度层的两级层次结构，每个单元的替代机会被聚合到一个流量加权的节省瀑布中，该瀑布按已实现的美元影响对替代候选者进行排名。该框架支持开发人员指导、支出预测以及从静态策略到影子模式分类器、验证级联以及最终智能路由器的分阶段过渡。我们以适合生产部署和未来实证研究的形式描述了方法、优化目标、评估协议和治理循环。