设计记忆：概率序列层

我们引入\emph{设计模型框架}：一种从关于记忆的明确假设中导出有效的循环序列图的方法。设计模型通过精确的贝叶斯过滤将证据写入内存；与查询相关的读数产生预测分布，其平均值是层输出。在我们的线性高斯实例化中，\emph{贝叶斯层}传播均值和协方差：协方差跟踪存储关联的不确定性，将写入转向不确定的方向，随着证据积累而衰减增益，并保留可信的记忆。相同的框架统一了几个次二次递归：线性注意力、GLA 和 Mamba-2/SSD 是潜在输入设计模型下的精确过滤器，而 DeltaNet 和相关的 Delta 规则模型是贝叶斯层设计模型的协方差重置减少。恢复协方差传播可以产生检索动态的封闭式预测，我们通过经验验证了这一点，并提高了受控碰撞研究、学习联想回忆和 Zoology MQAR 基准中训练体系之外的鲁棒性。在匹配的国家预算下在 WikiText-103 上从头开始训练可以降低联想回忆命中的困惑度。将贝叶斯层提炼到预训练的 340M 门控 DeltaNet 中，与匹配计算控制相比，改进了 RULER 长上下文检索，保留的困惑成本为 2.5--2.7%。