Voltic：在循环记忆中区分波动与随机性

循环序列模型必须决定在每个 token 处重写其记忆的强度。读作贝叶斯过滤，这个写入是卡尔曼更新的增益，由两个来源的不确定性决定，这两个来源将其拉向相反的方向：波动性，潜在关联变化的速度，以及随机性，每次观察的噪声有多大。首先，我们表明门控增量规则记忆的更新是该滤波器在各向同性不确定性下采用的形式。接下来，我们引入 Voltic，一种循环记忆，它保持协方差各向异性并使噪声方差依赖于输入，因此写入是向量值的并带有序列上累积的不确定性。稠密协方差必须通过 token 传播 token，从而排除这些模型所依赖的并行训练。因此，我们给出了两个假设密度近似，对角线和准对角线，这两个近似都将记忆更新保留为 delta 规则形式，并重用其分块内核。在受控 召回率 任务中，关联发生变化并且观察结果被破坏，Voltic 领先于所有基线。在结合波动性和随机性的任务中，两种外推大小下其相对于最强基线的裕度都大于训练大小。在 45M-参数语言模型中，它领先于八项任务推理平均值，并且在接近门控基线的吞吐量下，在超出训练上下文长度的情况下实现了更高的检索精度。因此，从不确定性递归中导出写入使得记忆对变化更加敏感。