用于稳健 LLM 整体的补充代理混合物

多人工智能协作，例如集成或辩论 大语言模型 (LLM)，是聚合信息和提高性能的有前途的范例。这些管道中的一个基本步骤是将多个提议者 LLM 的响应输入总结器 LLM 中，从而合成更好的答案。然而，选择要包含哪些提议者并非易事。现有的方法主要关注准确性（选择最强的模型）或多样性（确保多样性），并且经常忽略提议者之间以及与总结者之间的交互。我们将提议者选择重新定义为类似于特征选择的组合选择问题，其中 LLM 的价值在于其与其他问题的互补性。然而，由于时间复杂度过高，在 LLM 设置中直接应用标准特征选择算法是不切实际的。受此限制的启发，我们探索了广泛的计算上可行的贪婪式选择算法，这些算法使用小型标记集来评估互补性。我们的实验验证了互补性作为提议者选择的指导原则，并确定了在实践中实现最佳性能成本权衡的方法。