论文

接种适配器:以更少意外后门改善能力的选择性泛化

Inoculation Adapters: Improved Selective Generalization of Capabilities with Fewer Surprising Backdoors

模型训练监督微调与指令调优

摘要

接种提示是一种针对涌现错位的选择性泛化技术。我们引入接种适配器(IA):类似地减少学习不良特质的优化压力——通过在训练期间强化这些特质。接种适配器是三步训练使用的LoRA:(1) 在不良特质上训练;(2) 以冻结状态附加,同时单独的任务适配器在同时展示期望与不良特质的数据上训练;(3) 部署时丢弃IA、仅保留任务适配器。对比四种选择性泛化基线(接种提示、预防性转向、概念消融微调CAFT与KL正则化):跨九个设置与五个模型家族——接种适配器家族在期望特质保持对不良特质抑制上撑起新的帕累托前沿。IA还避免接种提示的两个缺陷:可抑制无法由提示可靠引出的能力与特质,并引入更少意外后门。但无IA变体完美优化所有目标:期望特质泛化的增益通常伴随不良特质抑制的减弱。