论文
半直接傅立叶 Delta 注意力:具有构造性块 WY 内核的相控 Delta 存储器
Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels
摘要
线性注意力用固定的循环状态取代了softmax注意力不断增长的KV缓存,但这种压缩限制了精确的状态跟踪和长上下文记忆。我们引入 \emph{Semidirect Fourier Delta Attention} (SFDA),它是 Kimi Delta Attention 的相控泛化,用块旋转傅里叶控制代替真实对角线衰减: \[ S_t=(I-β_t k_tk_t^*)Λ_tS_{t-1}+β_tk_tv_t^*, \qquad Λ_t=\diag(α_t\odot e^{iθ_t})。 \] 我们的主要结果是对乘积 \(A_t=Λ_t-u_tr_t^*\) 进行建设性的 chunk-WY 分解,给出 \[ A_t\cdots A_1=Γ_t-Y_tM_tW_t^* \] ,其秩增长限制在固定块内。这产生了精确的仿射块传输、形式稳定性和复杂性界限,以及相位加低秩存储器的紧凑表征。我们对代数进行了数值验证,并在玩具状态跟踪实验中表明,SFDA 可以学习循环记忆,其中相位禁用的 KDA 基线仍然接近机会。融合内核和大规模语言模型比较留给未来的工作。