没有单一的最佳多样性模型：学习样本多样性的路由器

当出现允许大量有效答案的提示时，全面生成它们是满足广泛用户的第一步。在本文中，我们研究了引出一套全面的有效答案的方法。为了评估这一点，我们引入了多样性覆盖率，这是一种衡量分配给预测答案集中每个唯一答案的总质量得分的指标，相对于具有相同数量答案的最佳可能答案集。使用这个指标，我们评估了 18 个 LLM，发现没有一个模型能够主导对各种开放式提示生成不同的响应。然而，根据每个提示，存在一个模型在生成多样化答案集方面显着优于所有其他模型。受这一发现的启发，我们引入了一个路由器，可以预测每个查询的最佳模型。在 NB-WildChat 上，我们经过训练的路由器的性能优于单一最佳模型基线（26.3% vs 23.8%）。我们进一步展示了对域外数据集（NB-Culated）的泛化以及不同的答案生成提示策略。当我们能够访问一套模型时，我们的工作为研究生成全面的答案奠定了基础。