Softmax Attention on Gaussian Mixture：可以是线性的，必须是选择性的

Softmax 注意力是《变形金刚》的核心，它展现出了非凡的能力。然而其根本机制仍然只有部分被了解。最近的理论工作研究了高斯提示，其中无限提示限制减少了对线性图的 softmax 注意力，但也消除了将其与线性注意力区分开来的依赖于查询的选择。这项工作研究了高斯混合上 softmax 注意力的无限提示限制，它保留了高斯数据的易处理性，同时引入了潜在结构、多模态和非线性依赖性。我们证明，softmax 注意力可以通过基于梯度的方法表示和学习一系列统计任务的最佳解决方案，包括监督分类和去噪。我们的结果强调了 softmax 注意力的两个互补功能：它可以像其更简单的线性任务一样有效地恢复线性任务，同时还利用依赖于查询的上下文选择来解决线性注意力无法解决的非线性任务。