正交读取是循环记忆的可拆卸训练支架

在读取时通过五次可微的 Newton-Schulz 迭代对 mLSTM 内存矩阵进行正交化可以改善嘈杂的联想回忆。我们复制了这种效应并研究了其机制。 MAD 噪声召回训练表现出一个长期的机会水平平台期，随后准确性急剧增加。正交读取改善了该平台期间的调节，并且可以在逃脱后移除。消融支持三个发现。首先，这种好处需要自洽的读取和梯度：精确的递归最小二乘读取（Mesa 层）会产生类似的好处，而直通变体、增量规则写入、冻结随机密钥和 Frobenius 归一化与基线相比没有任何改进。其次，在学习率 x 任务难度网格中，正交化将逃脱风险增加了大约六倍，并且没有可检测到的对难度的依赖，并扩大了产生成功运行的学习率范围。第三，在推理时添加正交化会导致机会级故障无法解决，而在逃逸后逐渐将其移除，则会产生近乎完美精度的标准 mLSTM。仅计划更改就可以恢复大部分报告的收益。批量大小 x 学习率分析分离了每步学习率和梯度噪声对逃逸危险的影响（弹性分别为 +3.0 和 -1.65），将原始 vocab-96 结果与其大批量训练制度联系起来。记忆状态的直接解码可以恢复行为失败模型中大约一半的关联，这表明尽管存储了大量信息，但读出学习仍存在局限性。这些结果表明，固定预算召回基准对可训练性敏感，并为通过测量内部表征来调查突然的行为转变提供了易于处理的环境。