随机注意力：连接组启发的随机路由，用于表达线性时间注意力

果蝇的全脑连接组由超过 13 万个神经元组成，连接概率仅为 0.02%，但平均最短路径仅为 4.4 跳。尽管在电路层面上是高度结构化的，但该网络的远程连接广泛分布在大脑区域，充当随机捷径，实现高效的全球通信。受这一观察的启发，我们提出了随机注意力（SA），这是滑动窗口注意力（SWA）的一种直接增强，它在窗口注意力之前对标记序列应用随机排列，然后恢复原始顺序。这会将固定的本地窗口转换为相同的每层预算 $O(nw)$ 内的随机全局窗口。通过深度，独立采样的排列产生指数增长的感受野，在 $O(\log_w n)$ 层中实现完整的序列覆盖，而 SWA 则为 $O(n/w)$ 层。我们在两种设置中验证 SA：从头开始的 预训练 语言模型，其中门控 SA + SWA 组合实现了最佳平均零样本精度，以及 Qwen3-8B 和 Qwen3-30B-A3B 上的 无需训练 推理，其中 SA 始终优于 SWA，并在可比较的计算预算下匹配或超过块注意力混合。这些结果表明，受连接组启发的随机路由是提高有效注意力表达能力的实用原语，是对现有线性和稀疏方法的补充。