LoRA 微调 Stiefel 歧管的无回缩优化

Stiefel 流形的优化在各种机器学习任务中发挥着重要作用。现有的方法要么使用回缩算子，需要对大规模矩阵进行昂贵的正交归一化，要么采用依赖于仔细的步长选择和惩罚参数调整的着陆方法。为了解决这些挑战，我们提出了一种直接落在流形上的无回缩和无惩罚参数算法。通过利用二次罚函数的强凸性质和 Stiefel 流形的近端平滑性，我们在恒定步长和递减步长下建立了具有最著名迭代复杂度的全局收敛保证。然后，我们将 大语言模型 的低秩自适应 (LoRA) 微调 问题重新表述为流形优化问题，引入流形 LoRA 进行几何加速自适应。该方法采用所提出的着陆技术和精心设计的步长策略来加速训练过程。基准数据集上的数值实验证明了该方法的效率和强大的下游性能。