SparseGDN：以分块稀疏和事件选择加速线性注意力预填充

门控Delta网络 (GDN) 提供线性时间序列建模，但由于密集的块内计算、循环状态更新和中间状态存储，长上下文预填充的成本仍然很高。我们引入了 SparseGDN，这是一个硬件感知框架，它将结构化块内近似与依赖于输入的循环事件选择相结合，同时为每个令牌生成输出。块相邻求解器减少了局部Delta求解计算，而动态选择器则在注意力头对之间分配循环更新预算。 GPU 实现仅针对选定事件实现更新，并使用紧凑状态快照和组内局部交互重建令牌输出，从而减少计算和内存流量。我们在 Qwen3.5-4B 和 Qwen3.5-9B 上跨 RULER 任务和从 4K 到 128K 的上下文长度评估 SparseGDN。 SparseGDN 平均保留约 29% 的循环事件，与原生 FLA 内核相比，GDN 核心预填充速度达到原来的1.50–1.94倍，其中包括在线选择开销。