论文

通过潜在视角评估《LLM》中的多元主义

Evaluating Pluralism in LLMs through Latent Perspectives

模型评测评测方法与指标

摘要

代表不同观点的需求日益增长,增加了对多元化 LLM 一代的兴趣。尽管难以实施,但确定文本中表达的观点将为多元一致性提供明确的指导,并更清楚地阐明 LLM 一代的多元差距。虽然模型已被证明可以减少训练数据的多样性并均匀生成,但这主要是通过多项选择问卷或使用自由格式文本的高级特征来证明的。在本文中,我们介绍并实现了一个与领域无关的多层框架,用于无监督地提取适合识别 LLM 生成文本中的多元差距的观点。我们根据书评评估我们的框架,这是一个代表不同观点的高度固执己见的数据集,并比较各种提示和模型。我们的结果表明,虽然一些模型和提示技术几乎涵盖了广泛的观点,但较罕见的观点仍然不成比例地代表性不足,导致分布与人类文本不同。