恒定记忆回忆：固定矩阵状态下的学习关联

固定大小的循环内存限制了推理期间的存储增长，但成功的召回取决于任务和训练。我们研究了一个小型 DeltaNet 变体，它具有固定的特定于词元的键偏差，经过训练可以记住每个序列 32 个新的键值对。凭借 32 KiB 的循环矩阵状态，在选择序列值时，三个训练种子的平均准确度达到 99.95%。当填充器将预查询上下文扩展到 1,798 个标记而不添加配对时，召回率仍然接近完美。将第一个内存块清零可以消除此调用。在初级训练预算的四分之一之后，探索性 48 对测试仍然接近机会，并且没有确定容量限制。参数匹配的向量和 Transformer 基线仍然接近机会，包括额外训练搜索后的 Transformer。这种未解决的基线故障阻碍了内存效率比较。