CyFA：使用相对时间分区内存的线性序列建模

线性 RNN 提供线性时间序列处理和常量内存解码，但其固定大小的循环状态必须适应所有过去的键值关联。现有的遗忘机制和增量规则更新通过有选择地清除或纠正状态来减少干扰，但早期的关联仍然难以检索。我们介绍 CyFA（循环流注意力），一种具有相对时间分区内存的线性 RNN。在每个步骤中，在当前键值对进入零时隙之前，学习时钟控制联合应用于键和值状态的循环传输，从而组织跨相对时隙的存储关联。我们进一步推导出绝对时钟坐标的精确变化，将 CyFA 表示为两个标量衰减线性注意力循环，并实现高效的分块训练。在具有匹配的循环状态大小的 400M--1.4B 预训练实验中，CyFA 提高了召回密集型性能，同时保持了有竞争力的语言建模和高计算效率。在 400M 时，CyFA 在 FDA 上的表现优于 KDA（42.60 vs. 26.07），同时仅需要 KDA 的前向和后向核心算子执行时间分别为 46.7% 和 48.3%。我们的代码可在 \href{https://github.com/Chyxx/CyclicFlowAttention}{this https URL} 公开获取。