有限特征联想记忆的几何容量理论

我们开发了一种基于几何的容量理论，用于在压缩的有限特征赫布联想存储器中进行精确密钥检索。对于随机或近似各向同性值，检索干扰分为有限特征噪声和结构干扰，有限特征噪声随特征维度而减小，结构干扰由存储密钥之间的平方核重叠决定，并持续存在于无限特征限制中。这产生了检索质量的无拟合预测，揭示了几何相关的容量上限，并预测了目标检索质量所需的特征预算。当存储的值相关时，我们表明检索共同取决于关键内核和值 Gram 矩阵，并推导出解释这种交互的有限特征近似。我们验证了合成、视觉和医学图像表示的理论。总体而言，该框架将表示几何形状直接链接到内存容量，并区分何时可以通过增加特征预算来提高性能以及何时必须更改表示本身。在这些设置中， 预测的检索曲线与经验行为紧密匹配，并正确识别首选记忆设计中的变化。