相量记忆网络：通过时间，可扩展显式记忆的稳定反向传播

十多年来，像神经图灵机这样的显式记忆架构在理论上仍然很有吸引力，但由于通过时间的反向传播期间灾难性的梯度不稳定，实际上对于语言建模来说却很棘手。在这项工作中，我们用 \textit{Phasor Memory Network} (PMNet) 打破了这一僵局，这是一种新颖的架构，通过 \textit{Unitary Phasor Dynamics} 和 \textit{Hierarchical Learnable Anchors} 在结构上解决了记忆波动性。我们不依赖暴力扩展，而是在受控字节级设置中提供机械概念验证。通过将循环状态更新限制为复杂单位圆上的相位旋转，PMNet 保留了梯度范数，并且本质上防止了发散，而无需专门的初始化。我们通过合成复制粘贴任务凭经验证明了记忆模块的主动驱动，其中 PMNet 利用扩展的 \textit{85 槽分层记忆树} ($=\sum^{4}_{h=1}4^{h-1}$) 来实现跨时间距离的接近 100% 的精确检索，完全超出了局部滑动窗口注意的感受野。此外，尽管 PMNet 是在 18.8B 词元上训练的紧凑型 119M 参数模型，但其零样本长上下文鲁棒性与大三倍的 Mamba 模型相当。我们的消融研究和梯度分析证实，显性记忆的历史失败是结构对齐问题，PMNet 有效地克服了这一问题，为可扩展序列建模提供了理论基础。