Mo' 模型，Mo' 问题：设计多智能体系统时如何最好地选择模型池

多智能体系统（MAS）结合多个模型输出来解决复杂的推理任务。然而，尽管可用的开源模型快速增长，但关于如何从这个庞大的模型库中选择最佳候选模型的研究仍然有限。我们在具有挑战性的科学基准上系统地评估了前一代（路由）和后一代（多数投票、大语言模型作为法官）MAS 架构的 8 种模型选择策略（包括模型大小、准确性和答案多样性）。我们的研究结果表明，预言机的理论潜力和实际性能之间存在显着差距：扩大候选池大小通常会使性能降低到低于最佳性能基础模型的水平。我们发现，在单个模型系列中选择候选者是比独立模型产生最佳相对性能的策略。这些结果表明，向异构 MAS 添加任意模型会导致系统不稳定，凸显模型选择是多智能体系统的关键设计选择。