从几何到泛化：为什么行归一化可以击败 Adam 和 Muon

不同的优化器可以拟合相同的训练数据，同时选择具有显着不同几何形状的分类器，但这种差异是否会影响总体性能仍不清楚。我们证明，在高维多类分类中，行归一化可以实现比全批量 Adam（随机重组 Adam 的代理）和精确 SVD Muon 严格更高的总体准确度。在各向同性高斯云数据模型下，出现这种优势是因为行归一化的类欧几里德几何渐进地保留了总体决策边界方向，而 Adam 的坐标几何和 Muon 的谱几何引入了非零失真。除了各向同性之外，对于具有独立导向的类均值和测试噪声协方差的类均值进行全批次训练，其优势仍然存在。即使在严重各向异性测试噪声下，它也适用于类平均指数低于 1 的幂律谱。当两个协方差都是对角且足够接近时，相对于 Adam 的优势可以逆转，同时应用相同的随机数 两者的旋转通过仅改变它们与 Adam 坐标轴的对齐来恢复它。综合和最后一层语言模型实验支持了预测的优势。