论文
LSA在学习潜空间分层聚类键以降低超长上下文注意力成本
Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
摘要
Agentic 工作流越来越多地转向开放式科学研究等长时序任务，模型可从长上下文窗口中受益。然而，在超长上下文（超过 100 万 token）下，全注意力的计算代价难以承受。一个有前景的方向是稀疏注意力，由专用索引器选出参与注意力计算的键子集。但现有索引方法要么仍随上下文长度产生二次计算成本，要么在超长上下文下损失准确率。我们提出潜空间稀疏注意力（LSA），在超长上下文下兼顾效率与准确性。LSA 在可学习潜空间中对键分层聚类，让查询对聚类层次结构评分，而不逐一给每个键评分，从而加速长上下文的预填充、解码和训练。我们提出两种变体：蒸馏式 LSA（D-LSA）可通过蒸馏应用于预训练模型；原生 LSA（N-LSA）仅使用下一 token 损失进行原生训练。在 1,000 万 token 时，D-LSA 在 GLM-5.3-FLASH（QWEN-3.8-27B）上，相对原始稀疏注意力（全注意力），单个注意力层的预填充分别加速 22.7 倍（72.4 倍），解码分别加速 4.6 倍（42.5 倍），且在多种任务上保持相近准确率。N-LSA 在 128K token 时达到与全注意力相当的准确率，同时单层训练加速 1.6 倍。LSA 为模型利用超长上下文提供了实用且高效的注意力机制。
