你被录用了：大语言模型合作的战略模型选择

虽然多智能体和模型协作算法在结合不同大语言模型 (LLM) 的优势方面获得了广泛关注，但现有系统仍然在预定义和手工制作的模型池上遇到瓶颈。在这项工作中，我们研究了多大语言模型系统中的模型选择问题。我们提出并系统地评估了 9 种选择算法的分类法，范围包括模型描述的多样性、能力感知的行为多样性和基于大语言模型的招聘人员。我们在两个包含 10 个和 32 个模型的候选池中进行了广泛的实验，部署在四种模型协作算法中，并跨数学、编码、QA 和推理等任务进行了评估。结果表明，成功的选择算法大大优于随机或基于启发式的团队，例如仅选择具有最高个体性能的模型，在各种设置中高达 36.1%。具体来说，基于能力和训练的选择策略可以减轻选择差异并实现最佳性能，我们建议在部署实际的多大语言模型系统之前采用该策略。进一步的分析表明，较大的候选池对浅层选择启发法提出了更大的挑战，而基于与候选模型交互和理解模型能力的算法可以稳健地过滤掉未对准的、不安全的模型，并泛化到新颖的、不符合分布的任务。我们共同确定，有原则且知情的团队选择至关重要，并提出了强大的模型选择算法，用于组装有效的多大语言模型系统。