一类低参数正交矩阵的黎曼结构及优化

在本文中，我们关注的是由块对角因子与固定排列交织形成的矩阵——一种灵活的结构化矩阵族。该类最近因其平衡的表达性与效率的权衡而引起了人们对深度学习架构的兴趣，但仍有待找到与其合作的有效计算策略。我们通过黎曼几何来解决这个问题，并检查该类在什么条件下允许光滑的流形结构。对于正交二因子矩阵的实际重要情况，我们推导了基本的黎曼工具并为其实现提出了有效的算法。该算法利用自动微分，支持每个因子内的参数共享，并避免显式的密集矩阵构造。我们在黎曼优化框架内测试它们的最佳矩阵近似问题以及大型语言模型的参数高效微调。除了双因子设置之外，我们还研究了具有大量块对角因子的因式分解的几何和矩阵理论特性。