RouteRelay：事件触发的跨层路由重用，实现高效动态稀疏注意力

动态稀疏注意力通过将每个查询块路由到每个 Transformer 层的一小组关键块来减少长上下文预填充成本。稀疏注意力内核避免了大多数词元交互，但即使所选路由变化很小，路由器仍然会一层又一层地重建块-块得分矩阵。我们引入了 RouteRelay，这是一种与路由器无关的方法，它仅重用跨深度的路由元数据，同时继续使用当前层的查询、键和值计算注意力。锚层执行完整的路由。中间层重新评分之前的 top-$k$ 路线和一组紧凑的哨兵，其中有近乎未命中和随机探测的块。仅当哨兵挑战其最弱的选定块时，查询行才会重新路由。我们给出了 top-$k$ 稳定性条件、错过挑战者的概率界限以及行选择性 GPU 执行设计。在可重复的经验评估中，RouteRelay 保留至少 99.99% 的路线召回率，同时在低、中和高跨层漂移下分别重新路由 25.0%、55.4% 和 78.2% 的行。在整个路由规模上，当关键块计数从 128 增加到 1024 时，RouteRelay 保留了 100.0% 的召回率，同时评估了 38.4--51.6% 的全路由分数对。其未融合的 CPU 执行速度仍然慢于密集矩阵乘法，将行压缩和账本更新暴露为主要的内核工程目标。