小数据，大噪音：鲁棒参数高效的对抗训练 微调

参数高效的 微调 (PEFT) 已成为使基础模型适应下游 NLP 任务的关键。然而，当前的 PEFT 方法常常面临着对噪声的鲁棒性和有限训练数据上的性能下降的问题。我们提出了 SDBN（小数据大噪声），这是一个为 PEFT 带来对抗性训练的统一框架——尽管其优势互补，但在 PEFT 环境中对这种组合的研究仍然较少——以增强模型的鲁棒性和泛化性，优于其他方法。我们还介绍了使用离散不确定性集的方法的两种变体：SDBN-h，它枚举字符级编辑并使用梯度选择最坏情况的变体；SDBN-p，它使用 LLM 生成的变体在生成任务中进行鲁棒优化。跨多个基准的实验揭示了显着的改进，特别是在资源匮乏的环境以及单词级和字符级损坏的情况下。该框架解决了对抗性训练和参数高效适应之间较少探索的交叉点，无需引入额外的参数或仅适度的计算开销，使得 PEFT 部署在数据稀缺和语言可变性经常共存的现实场景中更加可靠