注意力的谱几何：从信息路由到不确定性

在这项工作中，我们通过光谱几何和算子理论的视角来研究变压器注意力。我们将每个注意力头视为token序列上函数的希尔伯特空间之间的函数映射，并派生出token差分算子，其谱结构控制token空间信息如何路由到输出。我们证明标准欧几里得谱在结构上受到汇的影响，将质量浓度与真正的路由能力混为一谈。通过在注意力引起的内在概率几何中重铸token空间，token差异谱将汇效应与路由容量分开，并提供头部输出维度的谱描述。这产生了一个统一的框架，用于在单个算子理论框架内分析注意力图、解释汇、路由崩溃和输出维度。在实践中，通过将注意力启发法建立在谱几何中，我们开发了一种新颖的基于注意力的不确定性估计器，它补充了基于概率的分数，在长上下文输入上获得了最大的收益。