词元是群元素：关于矩阵李群的李代数注意力

我们将注意力标记放在组上：标记是矩阵李群$G$的元素$g_i$——一个裸变换，没有特征负载，也没有携带它的外部动作$ρ(g)$。据我们所知，这是第一个注意力结构，其标记是裸矩阵李群元素：它们的分数是相对姿势的封闭形式代数范数而不是学习的内核，并且它达到了每个基于不可表示或满射表达式的方法必须排除的仿射全框架群。我们称之为李代数注意力。一旦标记成为组元素，其余部分就不再遵循通常的表示理论机制。一对的相对几何是规范的 $g_i^{-1} g_j$，因此成对不变量 $w_{ij} = \log(g_i^{-1} g_j)$ 是固有的而不是设计的；对角线 $G$-action 下的等方差是同义反复，并且余循环条件自动成立。注意力分数是负平方代数范数，$s_{ij} = -\|\log(g_i^{-1} g_j)\|_λ^2/τ$：块加权 Frobenius 内积下的规范邻近内核，没有不可约表示、球谐函数、Clebsch-Gordan 产品或学习内核。该构造适用于包含相对位姿的选定对数图上的任何矩阵李群，包括具有尺度和剪切力的非紧非阿贝尔仿射群，这是矢量标记注意力方法无法达到的：无论是不可表示传统还是满射表达式方法。 SE(2)、SO(3) 和 Aff(2) 上的三个序列完成实验证明了这一点：闭合形式分数与相同不变量上学习的 MLP 内核相匹配，并且在 SE(2) 上优于它，使用的分数参数少了 50 到 80 倍，而向量词元基线将不变性破坏了 5 到 12 个数量级。