SubZero+：随机子空间中的内存高效自适应零阶 LLM 微调

在随机子空间中使用 SGD 进行零阶 (ZO) 优化可实现 大语言模型 的内存高效 微调，而无需反向传播。然而，高梯度估计噪声从根本上破坏了像 Adam 这样的自适应优化器。我们提出了 SubZero+，它通过精心设计的双低维策略实现实用的自适应 ZO 优化：（i）定期刷新的随机子空间中的多查询前向差分梯度估计，以减轻矩缓冲区中的噪声放大，以及（ii）直接在低维空间而不是全参数空间中执行定期重新启动的 Adam 更新。在实验中，这种双重设计保留了与无动量 ZO 方法相当的内存开销，同时实现了比评估的 ZO 基线更强的优化性能。理论上，在精确方向限制下，$K$ 查询平均保留了条件无偏性，而系数估计器的协方差和均方误差，以及查询引起的二阶矩膨胀，则精确地缩放为 $1/K$。在完整的 微调 和 LoRA 方案下，使用 1.3B 到 32B 参数的模型对 SuperGLUE 进行了广泛的实验，证明了与竞争 ZO 方法相比的一致改进。 SubZero+ 通过一阶优化显着缩小了性能差距，同时保留了 ZO 的推理时间内存效率。