当足够好就是最佳时：量化门控 DeltaNet 的仅乘法矩阵求逆近似

分块并行线性注意力中的矩阵求逆是长上下文建模的主要瓶颈，特别是在 NPU 上，其中基于前向替换的方法表现出有限的并行性和较差的硬件利用率。我们提出了一种基于矩阵乘法（MatMul）的快速算法，专为块线性注意力中产生的严格下三角矩阵而定制。受诺依曼级数项快速增长和逆矩阵对角线集中的推动，我们采用具有结构掩蔽和并行残差校正的截断诺依曼展开来消除顺序依赖性。我们通过减轻重复矩阵幂运算引起的动态范围扩展，进一步将我们的方法扩展到低位 INT，并使近似阶数和残差步长适应块大小，以最大限度地减少计算成本，同时保持模型的准确性。 Qwen3.5 系列模型的实验表明，内核级加速高达 5$\times$，解码层开销减少 20%，同时在浮点和低精度推理下保持准确性。我们的方法为可扩展的线性注意力提供了高效且硬件友好的解决方案。