LiFT：通过线性规划进行局部搜索以实现过拟合控制的 Transformer

本文提出了一种基于线性规划（LP）的局部搜索框架，用于 微调 预训练的 Transformer 模型，具有针对过度拟合的显式控制。该方法将 Transformer 微调 表述为基于双层优化的正则化问题，其中模型参数和正则化超参数联合更新。在初始预热迭代期间收集的信息（包括验证梯度和训练 Hessian 信息）用于通过求解最小化缩放方向导数同时保持训练最优性的 LP 来构建局部下降方向。这种验证感知的下降方向可以集中局部更新参数和正则化超参数，从而减少过度拟合，而无需重复完整的再训练周期。由此产生的方法称为 Transformer 的基于线性规划的 微调 (LiFT)，它与传统的 微调 不同，它系统地识别特定于任务的更新，而不是依赖于启发式或基于网格的超参数选择。在 WikiText-2 上微调的 GPT-2 Small 实验表明，LiFT 通过选择性调整 Transformer 块和正则化参数来实现有效的适应，在跨多层配置和正则化设置的测试困惑度上产生一致的改进，在容易过度拟合的场景中收益尤其明显。除了经验性能之外，LiFT 在 Transformer 微调、双层优化、局部搜索和正则化理论之间建立了原则性的联系。