DAMI联合初始化时间尺度与输入敏感性改善长程检索

线性注意力的计算量随序列长度线性增长，但其有限状态记忆会限制长上下文检索。在门控线性递推中，记忆保留取决于状态衰减，而衰减由门控参数 A_log、dt_bias 和输入激活值共同决定。在受控的门控 DeltaNet（GDN）实验中，这两个参数训练后仍与初始值高度相关，凸显初始化的重要性。因此，我们提出双轴记忆初始化（DAMI），在训练前联合配置这两个参数。DAMI 在不同注意力头之间分配几何级数时间尺度，以适应不同检索距离；同时让各层输入敏感度呈现“低—高—低”的分布。使用少量激活值样本，即可校准 GDN 系列实现，在不增加可训练参数的情况下同时满足这两个行为目标。在 GDN、KDA、GDN2、Mamba-2 和 RWKV-7 上，相比各自随机初始化基线，DAMI 将 RULER 风格检索的平均准确率提高 5.29—16.71 个百分点。语言建模、常识推理和 2K 真实场景检索的表现总体与这些基线相当。代码见 https://speedai.com/research/dami。