理解和改进指令微调中的噪声嵌入技术

教学 微调 的最新进展已将噪声注入嵌入中，NEFTune（Jain 等人，2024）使用统一噪声设置基准。尽管 NEFTune 的实证研究结果表明均匀噪声优于高斯噪声，但其原因仍不清楚。本文旨在通过提供全面的理论和实证分析来澄清这一点，表明这些噪声类型之间的性能具有可比性。此外，我们还为语言模型引入了一种新的 微调 方法，利用嵌入中的对称噪声。该方法旨在通过更严格地调节模型的局部曲率来增强模型的功能，表现出优于当前方法 NEFTune 的性能。当 微调 LLaMA-2-7B 模型使用 Alpaca 时，标准技术在 AlpacaEval 上的得分为 29.79%。然而，我们的方法 SymNoise 使用对称噪声嵌入将该分数显着提高到 69.04%。这比最先进的方法 NEFTune (64.69%) 提高了 6.7%。此外，在各种模型和更强的基线指令数据集（例如 Evol-Instruct、ShareGPT、OpenPlatypus）上进行测试时，SymNoise 始终优于 NEFTune。包括 NEFTune 在内的当前文献强调了对基于噪声的策略在语言模型 微调 中的应用进行更深入研究的重要性。我们的方法 SymNoise 是朝着这个方向迈出的又一重要一步，与现有最先进的方法相比显示出显着的改进。