LoRA-TSD：通过 Muon 式更新实现 LoRA 的切线空间谱下降

低秩适应（LoRA）是微调大型模型的标准方法，但是当它的两个因素独立训练时，更新会忽略它引起的低秩权重变化的几何形状。我们引入了 LoRA-TSD，这是一种优化器，它将每个 LoRA 步骤视为固定秩矩阵流形的切向量，并在该切空间内采用 Muon 的谱范数最速下降步骤，通过 LoRA 参数化本机的回缩将结果映射回因子。该步骤避免了对全权矩阵进行昂贵的操作，并且其回缩比先前流形方法使用的截断 SVD 回缩便宜高达 2.8 美元\倍$。我们证明我们的替代项的 Frobenius 范数版本可以恢复 LoRA-Pro，并且我们将切线投影梯度（流形的黎曼梯度）确定为 LoRA 训练自然的平稳性度量，并且可以仅根据因子梯度进行计算。根据这一措施，我们为 LoRA-Pro 和 LoRA-TSD 提供了首次全球收敛保证，其速率将因子梯度范数推向零。在 Llama-3.2-1B、Llama-3.1-8B 和 Qwen3-32B 的六个常识和自然语言推理基准测试中，LoRA-TSD 的性能优于所有竞争性 LoRA 优化器，并且对适配器等级保持稳健。代码可在 https://github.com/brain-lab-research/LoRA-TSD 获取。