论文
实现协作 LLM 系统中路由器的公平和综合评估
Towards Fair and Comprehensive Evaluation of Routers in Collaborative LLM Systems
摘要
大语言模型 (LLM) 取得了成功,但成本和隐私限制需要在本地部署较小的模型,同时将复杂的查询卸载到基于云的模型。现有的路由器评估不系统,忽视了特定场景的要求和分布外的稳健性。我们提出了RouterXBench,一个原则性的评估框架,具有三个维度:路由器能力、场景对齐和跨域鲁棒性。与依赖输出概率或外部嵌入的先前工作不同,我们利用内部隐藏状态在答案生成之前捕获模型不确定性。我们引入 ProbeDirichlet,一种轻量级路由器,通过可学习的狄利克雷分布和概率训练来聚合跨层隐藏状态。它经过多域数据的训练,可以在域内和分布外场景中稳健地推广。我们的结果表明,ProbeDirichlet 在路由器能力和高精度场景方面比最佳基线实现了 16.68% 和 18.86% 的相对改进,并且在模型系列、模型规模、异构任务和代理工作流程中具有一致的性能。