FlexRouter：学习灵活的 LLM 路由的补充模型集

现有的大语言模型 (LLM) 路由方法独立对 LLM 进行评分，以选择 top-$k$ 模型。然而，这忽略了模型相关性并强制执行严格的计算预算。因此，路由器经常选择共享故障模式的冗余模型，从而限制了总体成功概率。为了解决这个问题，我们提出了 FlexRouter，一种显式建模模型互补性的路由框架。 FlexRouter 针对 answercoverage 进行优化，最大限度地提高至少一个选定模型产生正确响应的概率。这一目标与实际推理管道相一致，其中生成多个候选输出，并且下游验证者或用户选择最终输出。我们将路由制定为面向覆盖的子集选择问题，并使用行列式点过程（DPP）对路由策略进行建模，该过程自然地捕获模型能力和冗余。为了直接优化覆盖范围而不需要真实目标子集，我们引入了基于故障集边缘化的训练目标。在推理过程中，我们采用基于边际对数行列式增益的贪婪策略，使路由器能够在没有预定义预算的情况下自适应地确定子集大小。对大规模 RouterEval 基准的大量实验表明，与强基线相比，我们提出的 FlexRouter 在域内和域外任务中实现了更高的覆盖率和更低的冗余，同时保持灵活的推理成本。