论文
何时路由才有意义?多模型系统的多样性与鲁棒性
When is Routing Meaningful? Diversity and Robustness in Language Model Societies
摘要
多模型系统的路由策略几乎完全根据任务准确性和推理成本进行评估。我们认为,与性能正交的两个属性决定了路由是否有意义。首先,参与者的社会必须在行为上有所区别:如果所有参与者的反应相同,那么路由就是空洞的。其次,路由策略必须稳定:查询的表面形式变体应分配给同一参与者。高任务准确性与违反这两个属性是兼容的,因为路由器可以在冗余网络上运行或不一致地分配查询,从而无论性能如何都会阻止专业化。我们将分层社会熵(HSE)应用于语言模型社会,并引入基于扰动的鲁棒性度量来诊断这些故障模式。应用于 EmbedLLM 和 RouterBench,我们发现 HSE 表现出强烈的收益递减,这表明少于 10 个代理的精选子集可以恢复大型池中最可用的多样性 - 这是社会设计的实用核心集启发式。我们进一步发现,KNN 路由器从专业模型群体获得了准确性,但在扰动下鲁棒性崩溃,而提示路由在所有扰动类型中保持稳定 - 说明准确性和意义可能会急剧分化。