针对冷启动场景的任务感知 LLM 路由，具有多级任务配置文件引导的数据合成

大语言模型 (LLM) 在任务和查询之间表现出性能和计算成本的巨大变化，激励路由系统选择模型来满足用户特定的成本性能权衡。然而，现有的路由器在域内训练数据不可用的冷启动场景中通用性较差。我们通过多级任务配置文件引导的数据合成框架解决了这一限制，该框架构建了分层任务分类法并生成不同的问题答案对来近似测试时查询分布。在此基础上，我们引入了 TRouter，这是一种任务类型感知的路由器方法，它通过潜在任务类型变量对查询条件成本和性能进行建模，并具有从合成任务分类法派生的先前正则化。这种设计增强了 TRouter 在冷启动和域内设置下的路由实用性。在多个基准测试中，我们表明我们的综合框架可以缓解冷启动问题，并且 TRouter 可以提供有效的 LLM 路由。