Delta注意力残差

注意力残差用对前一层输出的学习到的 softmax 注意力取代了标准的加性残差连接，从而实现了选择性跨层路由。然而，标准的注意力残差仍然关注先前层中的累积隐藏状态，这是高度冗余的。我们表明，这种冗余导致更深层中的路由崩溃：注意力权重变得低对比度并且更接近均匀（最大权重${\approx}$0.2），限制了模型在先前层中选择信息状态的能力。这就提出了一个关键但尚未充分探索的设计问题：哪些分层表示应该在注意力残差中路由？为了回答这个问题，我们提出了 Delta Attention Residuals，它关注增量——每个子层引入的变化（$\mathbf{v}_i = \mathbf{h}_{i+1} - \mathbf{h}_i$）——而不是累积状态。 Delta 表示在结构上是多样化的，并产生更高对比度的注意力分布（最大权重 ${\approx}$0.6），从而实现更具选择性和更有效的跨层路由。该原则适用于每子层和块粒度。在所有测试尺度 (220M--7.6B) 中，Delta 注意力残差始终优于标准残差和注意力残差，验证困惑度增益为 1.7--8.2%。 Delta Attention Residuals 还可以通过标准 微调 将预训练检查点转换为 Delta Attention Residuals。代码可在 https://github.com/wdlctc/delta-attention-residuals-code 获取。