Transformer 作为极态估计器

我们证明了 Transformer 的核心组件——注意力、残差连接和归一化——自然地产生于单个几何状态估计问题。在极坐标中对潜在状态进行建模自然地分离了径向和超球面动力学，从而产生了精确加权的过滤过程，其中归一化强制执行超球面约束，注意力聚合方向证据，并且残差连接实现增量状态更新。通过丢弃所得状态估计器的几何校正项来恢复具有旋转位置编码的标准 Transformer 块，这表明其架构遵循底层估计问题而不是独立的设计选择。提议的 \textit{Polar Transformer} 保留了这些几何校正。