ZO-Act：通过一次性激活通知低秩子空间实现高效零阶 微调

当反向传播不可用或内存不足时，零阶 (ZO) 优化可启用 微调 大语言模型，但现有方法经常扰乱完整模型权重或随机构造的低维子空间，从而产生高方差估计和有限的性能。我们提出了 ZO-Act，一种激活通知的 ZO 微调 方法，它将扰动限制在从输入激活派生的固定低秩子空间。对于每个线性层，ZO-Act 在初始化时计算一个小的激活基，并使用仅前向损失评估仅优化轻量级系数矩阵。这减少了有效的扰动维度，暴露了与 Adam 等基于动量的优化器兼容的显式可训练变量，并通过保持低位权重冻结自然地支持量化 LLM 微调。我们将 ZO-Act 分析为受限系数空间上的零阶优化，并表明扰动低维系数可以减少 ZO 估计器的方差相关收敛项和有限差分误差，但代价是受控子空间近似偏差，而 LLM 激活和梯度的低秩结构可以减轻这种偏差。 Llama-3-8B、OPT-13B 和 INT4 Llama-3-8B 上的实验显示，在语言理解、问题回答和常识推理方面，与强大的 ZO 微调 基线相比，取得了一致的增益。