超越群体同质性：通过元人格锚定与序贯温度缩放改善LLM多样性

最近的研究发现，大语言模型（LLMs）存在一种“人造群智”效应，导致模型在开放问题上形成狭窄、同质化的共识。这种语义塌缩限制了AI的多样性，即使在高温度采样的情况下，AI之间的相似性也高达约0.80-0.90。在这篇论文中，我们提出了一种新的缓解方法：元-人物角色锚定结合过滤温度缩放（FTS）。我们的方法利用两阶段生成过程：首先，模型被提示选择一个独特的、个性化的角色来锚定其起点；其次，我们使用双阶段采样筛，利用Top-p过滤来保留语法的正确性，然后在剩余候选上进行极端温度缩放（T≥4.0）以探索更广泛的概率分布。我们使用INFINITY-CHAT数据集在最先进的开放权重模型上进行评估，参数量约为20B。我们的结果表明，语义收敛显著减少，平均对角线余弦相似性从约0.85下降到约0.65。我们的方案在大多数问题上低于0.7阈值，有效地缩小了人造群智与人类水平的语义多样性差距。我们提供我们的实现作为开源框架，以便于更多样化的和创造性的AI部署。