MixedPEFT：将多种 PEFT 方法与混合目标相结合，实现无监督域适应

预训练的语言模型在应用于新领域时会遇到困难，因为完整的 微调 的计算成本很高，并且容易发生灾难性遗忘。本研究通过提出一种新颖的参数有效的无监督域适应策略来解决这一挑战，该策略将定制 PEFT 架构与混合目标训练相结合。我们的方法同时优化标记源域数据的分类性能和未标记目标域数据的掩码语言建模（MLM），在适应源域任务的同时保留目标域知识。我们的方法在统一的参数高效框架内采用了可逆适配器和低秩适应（LoRA）的自定义联合。通过对跨 20 个领域转换的多流派自然语言推理 (MNLI) 数据集进行综合评估，我们的方法比现有方法实现了显着改进：比当前参数效率最高的 UDapter 提高了 1.41 个百分点，比完全调整的 DANN 基线提高了 1.26 个百分点，比 DSN 提高了 0.86 个百分点，同时仅利用了模型可训练参数的 7%。这些结果为参数高效的无监督域适应建立了新的基准，并证明精心设计的 PEFT 与并发优化的组合可以优于现有的参数高效方法和传统的完全调整方法。