压缩的成本：事实幻觉的速率扭曲限制

闭卷问答中的事实幻觉通常被视为覆盖问题：模型失败是因为其内部记忆中不存在相关事实。这种观点忽略了第二个错误来源。即使观察到一个事实，有限的内存也可能迫使它只能被近似地存储。我们通过一个简单的覆盖事实回忆压缩模型来研究这种效应。我们考虑一个非结构化问答任务，其中有 $N$ 个可能的查询和 $K$ 个可能的答案。学习者观察 $M$ 训练事实，将它们压缩为最多 $B$ 位，并回答统一绘制的测试查询而不进行检索。对于均匀随机的真值映射，我们证明 $\mathcal{E} \geq \frac{M}{N}δ^\star\!\left(\frac{B}{M}\right) + \left(1-\frac{M}{N}\right)\left(1-\frac{1}{K}\right)$，其中 $δ^\star(r)$ 是零一损失下均匀 $K$ 元源的逆率失真函数。这两个术语将观察到的事实的压缩失真与未观察到的事实的缺失覆盖区分开来。界限提供了一种紧凑的方式来推理选择性记忆、强制压缩、结构、检索、放弃和长上下文组织。我们通过现代语言模型中的理论隐含模拟和受控事实注入探针来研究预测的签名，这些探针会改变事实负载和有效的可训练记忆。结果并不是一个完整的幻觉理论，而是对一种可分离故障模式的信息论解释：在有限记忆下对观察到的事实的有损回忆。