群不变统计确定嵌入几何：从巴赫到夜空表示的调和分析

语言模型学习的月份、工作日和地点等概念的表示显示出一致的几何结构：圆形和鞍形“Pringle”流形。最近的工作将这些结构追溯到单词共现统计中的 $translation symmetry$，当共现仅取决于概念的阿贝尔格上的距离时，推导了观察到的傅里叶几何。我们证明，更一般的对称概念会导致同样结构的预测。考虑到任意有限群、紧群和齐次空间定义的对称性，我们证明只要词族的共现统计量在群 $G$ 下不变，学习到的词嵌入就由 $G$ 的不可约表示（irreps）的矩阵元素组成。当 $G$ 是循环时，会出现圆和 Pringles，在这种情况下，不可表示是傅里叶模式。我们在三个实验设置中验证了 irrep 结构。 (i) 循环群 $\mathbb{Z}_{12}$：对于一年中的几个月，我们恢复已知的圆形几何形状。 （ii）作用于大三和弦和小三和弦的二面体群：我们统一了两个经典观察结果——换位和和弦转位形成了一个作用于和弦（音乐理论）的群（$T/I$），$implies$即众所周知的“五度圈”出现在学习和弦嵌入（机器学习）中。 （iii）我们将最近在大语言模型（LLM）中发现的天体球形表示解释并重现为从我们的理论导出的球谐嵌入。我们的结果表明，学习表示的几何形状通常是基础数据统计对称性的结果。