通过自适应逐层采样普遍增强零阶优化

零阶优化仅依靠前向传递，为 微调 大语言模型 提供了一种有前景的内存高效范例。然而，其实际采用受到缓慢的挂钟收敛和高估计方差的严重限制。在这项工作中，我们剖析了 ZO 算法的运行时特征，并确定了一个关键的系统瓶颈，其中扰动的生成和参数更新占训练延迟的 40% 以上。我们认为，标准的统一探索策略从根本上来说是有缺陷的，因为它无法考虑深层网络中各层的异构敏感性，从而导致计算上的浪费盲目搜索。为了解决这种结构不匹配的问题，我们提出了 AdaLeZO，一种自适应逐层 ZO 优化框架。通过将层选择过程表述为非平稳多臂老虎机问题，AdaLeZO 将有限的扰动预算动态分配给最敏感的参数。我们进一步引入了基于替换采样的逆概率加权机制，它保证了无偏的梯度估计，同时有效地充当时间降噪器以减少方差。对参数范围从 6.7B 到 30B 的 LLaMA 和 OPT 模型进行的大量实验表明，与最先进的方法相比，AdaLeZO 实现了 1.7 倍到 3.0 倍的挂钟加速。至关重要的是，AdaLeZO 充当通用即插即用模块，可以无缝提高现有 ZO 优化器的效率，而不会产生额外的内存开销。