门控实现曲率：注意力的几何表现力差距

乘法门控广泛应用于神经架构中，最近已应用于注意力层，以提高 大语言模型 的性能和训练稳定性。尽管门控注意力取得了成功，但门控注意力机制的数学含义仍然知之甚少。我们通过将输出建模为高斯分布的平均参数并分析诱导的 Fisher-Rao 几何，通过其表示的几何形状来研究注意力。我们表明，非门控注意力算子由于其仿射结构而仅限于本质上平坦的统计流形，而乘法门控可以实现非平坦几何形状，包括在非门控设置中无法实现的正弯曲流形。这些结果在非门控注意力和门控注意力之间建立了几何表现力差距。根据经验，我们表明门控模型在需要非线性决策边界的任务上表现出更高的表示曲率和改进的性能，而它们在具有线性决策边界的任务上没有提供一致的优势。此外，我们确定了一种结构化的机制，其中曲率在合成下累积，产生系统的深度放大效应。