Delta-Rules 线性的快速稳定三角反演 Transformer

线性注意力已成为高效长上下文架构的基石，其与最先进的开源模型（包括 Qwen3.5/3.6、Kimi Linear 和 RWKV-7）的集成就证明了这一点。将线性注意力层与所谓的 Delta 规则相结合的模型涉及三角矩阵的求逆作为核心子例程。此操作通常会形成性能瓶颈，并且由于其对数值误差高度敏感，如果不仔细实施，可能会显着降低端到端模型的准确性。这项工作对直接和迭代三角反演算法进行了系统分析，针对矩阵乘积丰富的方法，因此有可能有效利用现代硬件。为此，我们的分析涵盖了广泛的数学和实践方面，重点关注数值稳定性、计算复杂性，以及最终的硬件效率和实际考虑因素。我们提供严格的实验评估，以在实际场景和低精度浮点表示中验证这些属性，突出每种方法的优点和局限性。 NPU 的性能基准显示，与最先进的 SGLang 三角矩阵求逆实现相比，速度提升高达 4.3 倍，从而在整个层级别上实现显着的性能改进，同时保持完整的端到端模型精度。