语言模型遭受歧义诅咒

大语言模型 越来越依赖采样作为自身改进的驱动力，这使得学习到的分布的保真度比以往任何时候都更加重要。然而，并非所有发行版都同样容易学习。在这项工作中，我们发现了模糊性的诅咒：在 大语言模型 中，以及更广泛地在产生离散概率分布的所有神经网络中，下一个词元分布越模糊，就越难准确学习。通过广泛的理论分析，我们将这种诅咒追溯到建筑和学习的根源。更模糊的分布需要更大的存储容量、更大的嵌入量、更多的拟合步骤，并放大词元采样噪声。我们使用受控的 真值 在合成任务上验证了这些发现，并在真实数据训练的语言模型中观察到相同的特征。我们的结果为 大语言模型 的统计能力提供了新的视角，并为何时信任其输出分布提供了实用框架。