MLP 是 Hebbians：为 Transformer 构建高效的事实存储 MLP

大语言模型 (LLM) 在其参数中存储事实知识。虽然最近的工作表明这些知识存在于 MLP 层中，但 LLM 中事实存储的现有构造性和机械性可解释性模型无法解释令人惊讶的经验现象，即它们以信息理论上的最佳速率存储事实。在这项工作中，我们对这种现象进行了理论解释。我们开发了第一个与 Transformer 兼容的事实存储 MLP 封闭式结构，满足在 LLM 中凭经验观察到的以下三个属性：它（i）实现最佳事实存储缩放，（ii）处理任意输入/输出几何形状，以及（iii）在 Transformer 内部工作。我们工作的关键是分析 MLP 的解码余量，而之前的工作仅研究 MLP 事实存储。在各向同性嵌入下，我们的构造实现了信息理论上的最佳存储容量扩展，并且在匹配事实计数时需要比以前的构造少 10$-$104\times$ 的参数。对于任意键和值嵌入，我们表明我们的结构实现了相同的存储容量扩展，直至取决于嵌入几何形状的惩罚因子。此外，我们证明我们构建的 MLP 可以在 Transformer 块中用于最佳容量扩展的事实召回任务，在匹配事实计数时需要比以前的构造少 15$-$63\times$ 的参数。最后，作为概念验证，我们证明事实存储 MLP 通过将 Transformer 的 MLP 替换为新的 MLP 来实现模块化事实编辑。