AR1-ZO：高阶 LoRA 的拓扑感知 Rank-1 零阶查询 微调

零阶 (ZO) 优化支持大型语言模型 微调，无需存储反向传播激活，而 LoRA 提供紧凑的可训练适配器。将它们结合起来会产生一个等级悖论：增加 LoRA 等级可以提高适配器容量，但标准两点 ZO 要么会扰乱与等级相关的坐标数量，要么在原子更新下使有限差分信号不可观测。本文表明，瓶颈是测量拓扑问题，而不是对外部子空间的需求。 LoRA 已经分解为匹配的等级 $1$ 原子，每个原子都是维度 $d_\text{out}+d_\text{in}$ 的完整因子坐标块。每一步查询一个原子会保持存储的适配器排名 $r$，同时从单查询扰动维度中删除 $r$。朴素的原子查询仍然是错误校准的：如果它继承规范的 LoRA 缩放 $α/r$，则主动有限差分信号缩小为 $1/r$，主动有限差分信噪比 (FD-SNR) 缩小为 $1/r^2$，在固定的残差评估噪声基底下产生方向崩溃。 AR1-ZO 将交替的等级 $1$ 原子查询与拓扑感知缩放 $γ=αr$ 配对，恢复等级不变的主动信号，无需辅助碱基、激活钩子、曲率估计或额外的前向查询。理论证明了原子极小性、与排名无关的主动查询维度、定向崩溃和恢复以及作为摊销覆盖成本的剩余排名依赖性。 OPT 和 Qwen3 模型的实验验证了信号机制，并表明 AR1-ZO 使高秩 LoRA 在标准两次前向传递查询预算下的匹配预算 ZO 方法中有效。