语言模型的可靠性和扩展性的限制

大语言模型 (LLM) 经过训练和评估，就好像任何给定足够规模的任务都可以实现完美的可靠性。我们证明这种假设在信息理论上是不合理的。每个生成任务都有一个任何模型都无法超越的可靠性上限，这取决于可从可观察的上下文中解决多少输出不确定性。该差距分解为可通过附加上下文关闭的可解决组件和任务模糊性固有的主观组件。自回归生成以任务依赖内核控制的速率进一步降低了这个上限，该依赖内核量化了输出中的标记间相关性。从这两个原语，我们推导出第一原理缩放定律，其中 LLM 性能受到稀缺资源（训练数据或模型容量）的瓶颈。该定律将 Chinchilla 缩放定律恢复为特例，并提供了缩放何时提高可靠性的结构说明。除了扩展之外，我们的框架还统一了不同的实际现象，例如检索增强的好处和灾难性遗忘的光谱机制。我们的工作形式化了控制跨领域模型性能的资源复杂性权衡，提供了生成语言模型中性能限制的统一理论。