SPIN：预测重要KV块以降低稀疏注意力索引开销

基于索引器的稀疏注意力通过仅向其传递固定的少量重要标记来降低核心注意力的成本。然而，索引器仍然必须在每个解码步骤对整个 KV 缓存进行评分。随着上下文长度的增长，这种评分开销成为主要瓶颈。我们提出 SPIN（影子预测索引器）来减少索引器开销。 SPIN 使用轻量级、基于历史的预测来识别重要的 KV 块，从而避免了在每个解码步骤对完整 KV 缓存进行评分的需要。 SPIN 将 KV 块和推测解码视为一流的设计和实现考虑因素。通过对长上下文和 Agentic 基准的广泛评估，SPIN 在保持任务质量的同时实现了 30-40% 的稀疏性。在端到端 vLLM 服务中，SPIN 将输出吞吐量最高提高14.9%，并将Token间延迟中值最高降低13.2%。