零阶优化中的自适应性

我们研究了 大语言模型 (LLM) 的内存受限 微调 的自适应零阶 (ZO) 优化的有效性。与之前的主张相反，我们表明，与经过良好调整的 ZO-SGD 相比，ZO-Adam 等自适应 ZO 方法没有提供收敛优势，同时会产生大量内存开销。我们的分析表明，在高维度中，ZO 梯度缺乏坐标异质性，导致自适应机制内存效率低下。利用这一见解，我们提出了 MEAZO，一种内存高效的自适应 ZO 优化器，它仅跟踪单个标量以进行全局步长自适应。我们在标准假设下通过理论收敛保证来支持我们的方法。跨多个 LLM 系列和任务的实验表明，MEAZO 将 ZO-Adam 的性能与 ZO-SGD 的内存占用相匹配。关于综合二次问题和 LLM 微调 的附加实验进一步证明了 MEAZO 对步长选择的增强稳健性，特别是在分组或块结构优化设置中。